1. 重新编辑robots.txt文件，将网站中不需要抓取的页面和目录添加进去； 2. 如果抓取的网站带有反爬虫功能，建议可以设置User-Agent，以区分人为访问和爬虫程序进行访问； 3. 设置深度抓取，让程序对某个网页进行抓取时，只抓取它指定难度及深度的URL； 4. 不定时发起网站扫描任务，用来检查异常的URL，以及分析抓取URL的情况，同时将发现的问题处理掉； 5. 合理设置抓取速度，一般建议抓取的最高速度不宜超过网页平均加载速度的1/5，以免对网站服务器造成压力； 6. 建立黑名单，将连续多次无效抓取情况的网址纳入黑名单中，黑名单中的网址抓取程序会忽略其内容； 7. 禁止抓取某些特定格式的URL，例如`.pdf`、`.doc`等文件格式。
曹素素 提问于 3年 之前我们网站是一个外贸网站，站内主要内容就是产品信息介绍，还有相关文章及实物图，最近网站产品图片更新，内容更新也差不多每天都有做（除去周末），为什么Alexa排名，关键词排名还是没有进展？都不知道下面应该怎么做了，求指教。1 个回答Zac 管理员 回答于 3年 之前不是经常更新内容就一定会获得搜索排名和流量。保持更新只是搜索算法中比较小的因素，而且要看网站主题，对新闻、时事、
2013年春季的MADCon上星期六在厦门举行，收获颇多。感兴趣的读者可以在Robin的博客下载演讲PPT。可能不久还会有视频放出来，因为看到现场有专业人员摄像。下午和孙波一起与百度Lee、Google朱健飞进行了对谈，气氛挺热烈，我个人还有点意犹未尽，但由于时间关系，比预定结束时间晚了近半小时后不得不结束了。期待下次和他们交流的机会。大脚在这里发布了下午议程的录音，可以听到全部访谈内容。下面简单
针对apache、iis6、iis7独立ip主机屏蔽拦截蜘蛛抓取的方法如下： 1. 在网站根目录下新建一个robots.txt文件，添加以下代码： User-agent: * Disallow: / 这样可以禁止所有蜘蛛抓取你的网站。 2. 在服务器端安装mod_security模块并配置，可以使用以下命令： sudo apt-get install libapache-mod-secu
上一篇文章中，给大家简单介绍了提高spider抓取网站策略的两大方法，另外还有五个策略接着给分享给大家。如果没有浏览上篇文章，可以通过以下链接查看：【如何提高spider抓取网站？提高spider抓取策略（1）】提高spider抓取策略有哪些？三、多种URL重定向的识别为了让spider能够对多种URL重定向的识别，重定向分别有三类：HTTP 30x重定向、Meta refresh重定向和JS重定
