1. 重新编辑robots.txt文件，将网站中不需要抓取的页面和目录添加进去； 2. 如果抓取的网站带有反爬虫功能，建议可以设置User-Agent，以区分人为访问和爬虫程序进行访问； 3. 设置深度抓取，让程序对某个网页进行抓取时，只抓取它指定难度及深度的URL； 4. 不定时发起网站扫描任务，用来检查异常的URL，以及分析抓取URL的情况，同时将发现的问题处理掉； 5. 合理设置抓取速度，一般建议抓取的最高速度不宜超过网页平均加载速度的1/5，以免对网站服务器造成压力； 6. 建立黑名单，将连续多次无效抓取情况的网址纳入黑名单中，黑名单中的网址抓取程序会忽略其内容； 7. 禁止抓取某些特定格式的URL，例如`.pdf`、`.doc`等文件格式。
图片放到别的阿里云OSS服务器上对SEO没有直接影响。但是，如果该OSS服务器的速度较慢，加载时间过长，那么将会影响SEO。此外，如果OSS服务器没有适当的设置，会使搜索引擎难以抓取和解析图片。因此，设置适当的缓存控制和文件命名规则是至关重要的，以确保图片能够被搜索引擎正确地识别和评价。
夫唯：第三个问题就是我们之前听到的一个共同的说法就是竞价推广和SEO之间没有关系，现在还是保持这样的传说吗？王淘：竞价排名跟我们这边一直是完全不一样的两个体系，公司现在是分成了四还是五个群组，我们跟他们是完全不同的群组，也是完全不同的老大。基本上除了说我们结果和他们结果排在一个网页上之外，剩下我们基本上没有任何打交道的途径，我们不知道他们在干什么，他们也不知道我们在干什么，所以基本上不太可能说我们
网站做的越大，蜘蛛越多。可是有时候会发现：网站被各种搜索引擎的蜘蛛抓的服务器都快崩溃了，严重的占用了服务器的资源。这个时候要怎么办呢？百度蜘蛛：Baiduspider谷歌蜘蛛：Googlebot360蜘蛛：360SpiderSOSO蜘蛛：Sosospider神马蜘蛛：YisouSpider微软必应： BingBot在国内，我们不要把这几个蜘蛛使用robots.txt屏蔽就可以了，至于其他的，都可以
在VPS云主机服务器上，可以通过以下方式屏蔽拦截蜘蛛抓取： 1. Apache服务器： 在Apache配置文件（httpd.conf或apache2.conf）中添加以下代码： ``` SetEnvIfNoCase User-Agent ".*((Googlebot)|(Baiduspider)|(Yahoo! Slurp)|(bingbot)|(YandexBot)).*" bad_bot
