要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
转载这篇文章的原因，是我是看了一篇文章，有段内容是这样的：2004年我在做IT世界网的时候，流量一直上不去，我到处找方法，后来在Donews上看到王通的一篇文章：《大型网站SEO引爆点》，当时就被他的观点给震撼了，马上找到王通，给了他10多万的咨询费，然后他大概给了我们一个不到500字的建议，就按这个建议我们优化了IT世界网的大概20万个关键字页面，3个月内，网站流量增加了30多倍。这个方法我在0
seo不会编程，10W+网站链接如何查询收录，看完这篇你也会!网站的收录对于SEO优化工作来说是至关重要的，因为只有页面被收录了，关键词才有可能参与排名。但是影响网站收录的因素有非常多，包括了服务器层面、页面的质量(内容、代码等)、页面的URL等，这里不展开。一、收录与索引的介绍1，收录和索引分别指什么收录：页面被Baiduspider发现、分析过。索引：Baiduspider经初步分析后认为有意
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...来源：360站长平台
