我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
Matt Cutts在回答Lee Odden的问题时，从某种程度上回应了大家对Google是否在排名算法中考虑用户行为方式，尤其是Google工具栏（Google工具条）所收集的数据。Lee Odden问了他四个具体问题：1）目前Google是否把工具栏数据用于排名？2）你觉得把这些数据用于排名算法的优缺点是什么？3）可不可以描述某一个Google下载工具所搜集的信息以某一种方式被用于网页排名的例
1. 关键词研究和选择：通过针对目标受众的关键词研究和选择，优化您的网站以符合目标受众的搜索意图。 2. 内容优化：提供有价值的、优质的和创新的内容，会吸引更多的流量和来访者。在网站上使用关键词并创建信息架构，也有助于提高网站的SEO排名。 3. 提供友好和易于阅读的URL：可以为您的每个页面提供简短而易于理解的URL，这可以帮助搜索引擎更容易地理解你的网站，以及完全索引所有的页面。 4.
1. 什么是robots.txt文件?搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意，仅当
鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文
