1、网站和页面权重。质量高，资格老的网站被认为权重比较高，这种网站上的页面被爬行的深度也会比较高，所以会更多内页被收录。
2、与首页点击距离。一般来说网站上权重最高的是首页，大部分外部链接是指向首页的，蜘蛛访问最频繁的也是首页。离首页点击距离近，页面权重越高，被蜘蛛爬行的机会也越大。
3、导入链接。无论是外部链接还是同一个网站的内部链接，要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本没有机会知道页面的存在。高质量的导入链接也经常使页面上导出链接被爬行深度增加。
4、页面更新度。蜘蛛每次爬行都会把页面数据储存起来。如果第二次爬行发现页面与第一次收录的完全一样，说明页面没有更新，蜘蛛也就没有必要经常抓取。如果页面内容经常更新，蜘蛛就会更加频繁地访问这种页面，页面上出现的新连接，也自然会被蜘蛛更块地跟踪，抓取页面。
来源：搜外网
如果是正常的搜索引擎蜘蛛访问，不建议对蜘蛛进行禁止，否则网站在百度等搜索引擎中的收录和排名将会丢失，造成客户流失等损失。可以优先考虑升级虚拟主机型号以获得更多的流量或升级为云服务器（不限流量）。更多详情请访问： http://www.west.cn/faq/list.asp?unid=6261. 使用网站管理助手环境：http://www.west.cn/faq/list.asp?unid=650
百度站长平台发布公告宣布新版Baiduspider移动ua上线，同时公布了PC版Baiduspider UA，那么该如何正确识别移动UA呢？我们百度站长平台技术专家孙权老师给出了答案：新版移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile S
站长可以输入自己网站上的任何一个网址，网管工具会发出Google蜘蛛，实时抓取页面内容，并显示出抓取的HTML代码，包括服务器头信息和页面代码。另外工具也可以用来检查页面是否被黑。有时候黑客放入的代码会检查浏览器类型，如果是用户使用普通浏览器访问则返回正常内容，如果是搜索引擎蜘蛛访问，才返回黑客加上去的垃圾内容和垃圾链接。所以站长自己访问网站看不出异样，Google蜘蛛抓取到的却不是站长自己看到的
* Apache：通过在网站主机的.htaccess文件中添加下面一行代码即可实现： `SetEnvIfNoCase User-Agent "bot|crawl|spider|Yahoo|ia_archiver| other_spider|Googlebot" bad_bot` * IIS6：打开IIS管理器，右键点击网站，点击“属性”，然后选择“文件夹”，点击高级，在高级属性中勾选
