Meta robots标签是一种HTML头部元数据标签，用于指示搜索引擎如何处理指定页面的内容。它告诉网络爬虫如何爬取索引优化。这些标签是在
和之间添加的，旨在为“robots（搜索引擎蜘蛛）”提供有关如何索引和缓存页面内容的指令。 以下是meta robots标签的写法： - - - - 其中，“content”属性指定一组用逗号分隔的值，可以是以下之一： - index：告诉爬虫允许索引该页面； - noindex：告诉爬虫不允许索引该页面； - follow：告诉爬虫允许跟随页面上的链接； - nofollow：告诉爬虫不允许跟随页面上的链接。Flash 是一种创作工具，设计人员和开发人员可使用它来创建演示文稿、应用程序和其它允许用户交互的内容。Flash 可以包含简单的动画、视频内容、复杂演示文稿和应用程序以及介于它们之间的任何内容。通常，使用 Flash 创作的各个内容单元称为应用程序，即使它们可能只是很简单的动画。您可以通过添加图片、声音、视频和特殊效果，构建包含丰富媒体的 Flash 应用程序。整个网站就是一个大Flash文件，
鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文
Robots are machines that are capable of carrying out complex tasks automatically, often in a manner similar to human beings. They can be programmed to perform a wide range of actions, from simple acti
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL, or NL作为结束符)，每一条记录的格式如下所示:"<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
