要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
相信不少SEOER对SEO的发展方向或多或少都产生过迷茫，百度在国内搜索市场份额最大，这是不争的事实，做SEO在未来一段时期内是无法绕过百度的。而百度的每一次改变，每一次调整，都会对竞价和SEO的工作产生巨大的影响，这是没办法改变的事实。搜索需求——信息时代永恒的刚需搜索引擎是为网名从海量信息中搜索到想要的信息，这在互联网信息大爆炸时代，几乎是唯一快速寻找到自己想要的信息的方法。所以我们可以清晰的
，Google会根据搜索者对搜索关键字的行为，来展现更加精准的搜索结果。因为Google会收集并储存搜索者的个人信息，例如兴趣、移动位置和地区等。例如，如果某人经常搜索和酒店有关的信息，那么他再次搜索关于酒店的信息时可能会看到和他更加精准的结果。
用几个最常见的情况，直接举例说明:1. 允许所有SE收录本站:robots.txt为空就可以，什么都不要写。2. 禁止所有SE收录网站的某些目录:User-agent: *Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/3. 禁止某个SE收录本站，例如禁止百度:User-agent: BaiduspiderDisallow: /4. 禁止所有SE收录
robots.txt 是一个文本文件，用于指示搜索引擎爬虫哪些页面可以被抓取，哪些页面不应该被抓取。在建立一个网站时，可以通过 robots.txt 控制搜索引擎爬虫对网站的访问，以达到更好的SEO效果。以下是robots.txt的使用教程。 步骤1：新建 robots.txt 文件 在网站的根目录下，新建一个名为 robots.txt 的文本文件。 步骤2：编辑 robots.txt 文件
