要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
尽管这篇文章分析的是谷歌，但是很多对于其他搜索引擎也同样受用，不得不说的是在搜索技术上百度与谷歌的距离还是很远，可能方向都放到赚钱去了吧，OK，让我们开始吧!我们分析了100万个搜索结果(SERP)来回的一下这个问题：究竟哪些因素是与搜索引擎在首页的排名相关的啦?我们再其中也发现了一些有趣的因素，今天就要跟大家分享一下。分析了100万个搜索结果，验证了16个SEO优化的核心影响因素 SEO优化 S
现在还在看到很多人在使用google的PageRank来判断一个网页的好坏， 当你还在为那个绿色小条欢呼雀跃的时候，当你还在一次次的下载google工具，我想告诉你： 你不要在沉迷在这样无聊的游戏中。那只是一种娱乐。那么什么样的网站会获得比较好的排名，或者说怎么去辨别google的网页质量好坏的标准呢？根据我的实际经验，这些是google 可能是提高你网页排名的一些关键要素：1、成为一个新闻源这绝
匹配方式分两部分：1.path部分，2.参数部分匹配支持?*$?两种通配符?*? 表示任何有效字符的 0 个或多个个案。?$? 表示网址结束。path部分与google匹配方式保持一致，也就是只有/或是*开头的规则才有机会匹配上?/?匹配根目录以及任何下级网址?/fish??/fish?开头的匹配项* ?/fish?* ?/fish.html?* ?/fish/salmon.html?* ?/fi
常见的robots.txt文件用法实例：1、禁止所有搜索引擎抓取网站的任何部分User-agent: *Disallow: /这是禁止所有目录和文件被所有搜索引擎收录。网站还没上线时，有的会先屏蔽所有蜘蛛抓取。2、允许所有的spider抓取（或者也可以建一个空的robots.txt文件）User-agent: *Allow: /这是允许所有搜索引擎抓取网站的任何部分，既然是允许所有文件被抓取，可以
