网站做的越大，蜘蛛越多。可是有时候会发现：网站被各种搜索引擎的蜘蛛抓的服务器都快崩溃了，严重的占用了服务器的资源。这个时候要怎么办呢？
百度蜘蛛：Baiduspider
谷歌蜘蛛：Googlebot
360蜘蛛：360Spider
SOSO蜘蛛：Sosospider
神马蜘蛛：YisouSpider
微软必应： BingBot
在国内，我们不要把这几个蜘蛛使用robots.txt屏蔽就可以了，至于其他的，都可以把它们干掉，基本不会为网站带来任何的实际流量！
来源：A5营销
Baiduspider的user-agent是： Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
一、服务器连接异常服务器连接异常会有两种情况，一种是站点不稳定，搜索引擎尝试连接您的网站的服务器时出现暂时无法连接的情况；另一种是搜索引擎一直无法连接上您网站的服务器。造成服务器连接异常的原因通常是您的网站服务器过大，超负荷运转。也有能是您的网站运行不正常，请检查网站的web服务器（如Apache、IIS）是否安装且正常运行，并使用浏览器检查主要页面能否正常访问。您的网站和主机还可能阻止了蜘蛛的访
网络爬虫（又被称为网页蜘蛛，网络机器人，查找引擎蜘蛛，在FOAF社区中心，更常常的称为网页追逐者），是一种依照必定的规矩，主动的抓取万维网信息的程序或许脚本，别的一些不常运用的姓名还有蚂蚁，主动索引，模拟程序或许蠕虫
前两天人们注意到Google Adsense蜘蛛所抓取的网页会出现在搜索结果中。Matt Cutts在他的博客里迅速的做出了回应，对这种现象做了进一步解释。简单来说，Google在完成大爸爸数据中心升级后，各种蜘蛛抓取网页的机制产生了变化。不是各个蜘蛛直接抓取网页，而是由一个爬行缓存代理crawl caching proxy抓取网页，然后不同的蜘蛛从这个缓存中获取内容，从而节省了带宽。Matt C