要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
什么是区域性搜索结果？区域性搜索是百度比较有特色的一个功能，简单地说，就是在使用百度搜索引擎的时候百度会调用你所在的IP地址从而将本地的一些网页的排名提前。这种功能其实对用户是有利的。区域性搜索排结果名机制特征并不是所有的关键词都会+触发区域性搜索结果，出现这种现象的关键词一般会有如下的两个特征：1、关键词有比较明显的区域差异，例如“SEO”，大多数比较大的城市都有做“城市+SEO”的网站，例如“
我的站怎么就不被收录呀？这个问题，被大家问过无数遍。我也回答了不下百遍。下面是解决方案:1、查下你的网络日志，在日志里搜索这几个：“baidu”“google”“yahoo” ；2、从最近的日志里开始找，如果没有，再往前找一个；3、日志中有这几个结果：1）如果日志里，从来没有出现过这几位老大的机器人（Robot），那说明你没有提交成功或者是因为你发了太多spam（垃圾）链接被搜索引擎直接放入垃圾桶
常见的robots.txt文件用法实例：1、禁止所有搜索引擎抓取网站的任何部分User-agent: *Disallow: /这是禁止所有目录和文件被所有搜索引擎收录。网站还没上线时，有的会先屏蔽所有蜘蛛抓取。2、允许所有的spider抓取（或者也可以建一个空的robots.txt文件）User-agent: *Allow: /这是允许所有搜索引擎抓取网站的任何部分，既然是允许所有文件被抓取，可以
robots.txt文件通常放在网站的根目录下，即与主页文件（如index.html）同一级目录下。例如，如果网站的域名是www.example.com，那么robots.txt文件的完整路径可能是www.example.com/robots.txt。
