1. 重新编辑robots.txt文件，将网站中不需要抓取的页面和目录添加进去； 2. 如果抓取的网站带有反爬虫功能，建议可以设置User-Agent，以区分人为访问和爬虫程序进行访问； 3. 设置深度抓取，让程序对某个网页进行抓取时，只抓取它指定难度及深度的URL； 4. 不定时发起网站扫描任务，用来检查异常的URL，以及分析抓取URL的情况，同时将发现的问题处理掉； 5. 合理设置抓取速度，一般建议抓取的最高速度不宜超过网页平均加载速度的1/5，以免对网站服务器造成压力； 6. 建立黑名单，将连续多次无效抓取情况的网址纳入黑名单中，黑名单中的网址抓取程序会忽略其内容； 7. 禁止抓取某些特定格式的URL，例如`.pdf`、`.doc`等文件格式。
John 提问于 3年 之前做app推广免不了要在app应用商店做关键词排名，做淘宝的店长也免不了要在平台内做关键词排名，请问Zac老师，在这些平台做排名和我们平时做的seo有何不同，需要在哪些方面加强？1 个回答Zac 管理员 回答于 3年 之前APP排名和淘宝排名（或者亚马逊排名等）是专门的技术，我不是专家，只能说一点我所读到的知识。总体上，APP排名和淘宝排名比网页SEO简单一点，毕竟其中的
1. 网页内容不符合搜索引擎优化标准，比如内容没有有效利用关键词，网页搭建不合理等； 2. 页面内容不符合搜索引擎的文章质量要求，内容不够丰富、格式不规范等； 3. 网站的外部链接影响不足，没有足够强力的权重联系来影响网站的收录等； 4. 网站的更新频率过低，网页的内容更新不及时等； 5. 网站的技术架构不完善，影响了搜索引擎的抓取等； 6. 网站是否遵守搜索引擎的政策规定，比如网站
上一篇文章中，给大家简单介绍了提高spider抓取网站策略的两大方法，另外还有五个策略接着给分享给大家。如果没有浏览上篇文章，可以通过以下链接查看：【如何提高spider抓取网站？提高spider抓取策略（1）】提高spider抓取策略有哪些？三、多种URL重定向的识别为了让spider能够对多种URL重定向的识别，重定向分别有三类：HTTP 30x重定向、Meta refresh重定向和JS重定
1、网站和页面权重。质量高，资格老的网站被认为权重比较高，这种网站上的页面被爬行的深度也会比较高，所以会更多内页被收录。2、与首页点击距离。一般来说网站上权重最高的是首页，大部分外部链接是指向首页的，蜘蛛访问最频繁的也是首页。离首页点击距离近，页面权重越高，被蜘蛛爬行的机会也越大。3、导入链接。无论是外部链接还是同一个网站的内部链接，要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本没有机会知道
