针对apache、iis6、iis7独立ip主机屏蔽拦截蜘蛛抓取的方法如下：
1. 在网站根目录下新建一个robots.txt文件，添加以下代码：
User-agent: *
Disallow: /
这样可以禁止所有蜘蛛抓取你的网站。
2. 在服务器端安装mod_security模块并配置，可以使用以下命令：
sudo apt-get install libapache-mod-security
在apache配置文件中添加以下内容：
”近期，小编经常收到开发者关于“哪些蜘蛛是百度搜索的”、“如何才能正确识别百度蜘蛛”的提问。今日干货带你简单两步即可识别百度蜘蛛一、查看UA信息如果UA信息不对，可以直接判断该蜘蛛为非百度搜索的蜘蛛。目前UA分为移动、PC、和小程序三个应用场景，分别如下：【移动UA】1、Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KH
网站做的越大，蜘蛛越多。可是有时候会发现：网站被各种搜索引擎的蜘蛛抓的服务器都快崩溃了，严重的占用了服务器的资源。这个时候要怎么办呢？百度蜘蛛：Baiduspider谷歌蜘蛛：Googlebot360蜘蛛：360SpiderSOSO蜘蛛：Sosospider神马蜘蛛：YisouSpider微软必应： BingBot在国内，我们不要把这几个蜘蛛使用robots.txt屏蔽就可以了，至于其他的，都可以
很多SEO从业人员在刚刚接触这个行业的时候，经常会问——百度蜘蛛是什么？我们可以理解为百度蜘蛛就是用来抓取网站链接的IP，小编经常会听到百度蜘蛛来的太频繁，服务器要被抓爆了，如果你无法识别百度蜘蛛，你怎么知道是百度蜘蛛抓爆的呢？也有出现百度蜘蛛都不来了的情况，还有很多站点想得到百度蜘蛛的IP段，想把IP加入白名单，但无法识别百度IP。那怎么才能识别正确的百度蜘蛛呢？来来来，只需做着两点，就能正确识
上一篇文章中，给大家简单介绍了提高spider抓取网站策略的两大方法，另外还有五个策略接着给分享给大家。如果没有浏览上篇文章，可以通过以下链接查看：【如何提高spider抓取网站？提高spider抓取策略（1）】提高spider抓取策略有哪些？三、多种URL重定向的识别为了让spider能够对多种URL重定向的识别，重定向分别有三类：HTTP 30x重定向、Meta refresh重定向和JS重定
