我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
前两天看到一份各大搜索引擎在中国市场份额的资料。Google和百度加起来超过了90%的市场份额，雅虎在中文市场占的非常小。但是无论如何，Yahoo也是一个在世界范围内很重要的搜索引擎。各个搜索引擎的排名算法都不太一样。相比较而言，Google的算法最复杂，最难控制。MSN的算法更注重在页面的优化。比如说关键词堆砌等，往往能在MSN当中取得好的效果。而Yahoo最注重的是导入链接的数量。虽然基于导入
？ 1. Flash不够灵活，无法管理较大的网站页面，并且需要用户安装Flash插件来支持，不利于用户的体验。 2. Flash中的文本、链接和图片搜索引擎很难识别，可能导致搜索引擎无法抓取你的内容，从而影响网站的SEO。
1. Robots.txt是一个协议，用于控制搜索引擎爬虫的访问范围。 2. Robots.txt文件位于网站的根目录下，包含了一些指令告诉爬虫哪些页面可以访问，哪些页面需要限制访问。 3. Robots.txt文件并不会阻止所有爬虫的访问，只有支持Robots.txt协议的爬虫才会遵守文件中的指令。 4. Robots.txt文件中的指令可以根据不同的爬虫进行个性化设置，可以控制不同爬虫访
robots.txt 是一个文本文件，用于指示搜索引擎爬虫哪些页面可以被抓取，哪些页面不应该被抓取。在建立一个网站时，可以通过 robots.txt 控制搜索引擎爬虫对网站的访问，以达到更好的SEO效果。以下是robots.txt的使用教程。 步骤1：新建 robots.txt 文件 在网站的根目录下，新建一个名为 robots.txt 的文本文件。 步骤2：编辑 robots.txt 文件
