1. 重新编辑robots.txt文件，将网站中不需要抓取的页面和目录添加进去； 2. 如果抓取的网站带有反爬虫功能，建议可以设置User-Agent，以区分人为访问和爬虫程序进行访问； 3. 设置深度抓取，让程序对某个网页进行抓取时，只抓取它指定难度及深度的URL； 4. 不定时发起网站扫描任务，用来检查异常的URL，以及分析抓取URL的情况，同时将发现的问题处理掉； 5. 合理设置抓取速度，一般建议抓取的最高速度不宜超过网页平均加载速度的1/5，以免对网站服务器造成压力； 6. 建立黑名单，将连续多次无效抓取情况的网址纳入黑名单中，黑名单中的网址抓取程序会忽略其内容； 7. 禁止抓取某些特定格式的URL，例如`.pdf`、`.doc`等文件格式。
，那么就需要在网站中添加一个垃圾反链的功能，具体的功能就是当别的网站或者博客向自己的网站发出请求时，在返回的页面中插入一条HTML链接，这条链接将向发出请求的地址发出反向请求，从而实现垃圾反链的目的。
夫唯：第一个就是说经常好不容易找到了一些新的想法，用我们这些草根的话讲找到了百度的漏洞，好不容易排名上去了，过两天就会波动。有些人就怀疑说在百度的整体算法里面是不是有人工干预行为，还是说完全整个过程都是机器在判断？请我们的王淘给我们解释一下这里到底有没有人工干预？王淘：我来说一下，其实实话实说不存在人工干预的搜索引擎在中国是无法存活的，因为政府会时不时的要求你。基本上是真的无法存在下去的，如果说哪
不要看所谓的IP段，IP也不是一沉不变的，过去开头有220.181的 大家都知道，但是后面百度方面在不同的城市都建立了更多的服务器，总要有IP的增加，而IP段不可能一直是固定的那几个。所以单纯的以IP段来看，是非常不严谨的。那么如何查看呢？可以使用cmd命令： nslookup IP地址 的方式来进行查看，如果返回的信息中，有百度子域名，那么说明是百度的IP，如果无法返回，或者返回了诸
Google爬行缓存代理是Google搜索引擎通过代理服务器对网站进行爬行并缓存网页内容的一种技术。该技术可提高网站的访问速度和稳定性，同时也有利于搜索引擎的优化。 当用户访问一个网站时，Google爬行缓存代理会首先检查其缓存中是否有该网站的内容，如果有，则将缓存中的内容返回给用户；如果没有，则该代理服务器会向该网站服务器发送请求，并将获取到的内容缓存起来，以备将来的访问。 Google爬行