apache、iis6、ii7独立ip主机屏蔽拦截蜘蛛抓取(适用vps云主机服务器)
在Apache、IIS6、IIS7独立IP主机上屏蔽拦截蜘蛛抓取的方法如下:
1. Apache服务器:在httpd.conf文件中添加以下代码:
```
SetEnvIfNoCase User-Agent "^Mozilla/5.0\s\(compatible;\sGooglebot/2.1" bad_bot
SetEnvIfNoCase User-Agent "^Mediapartners-Google" bad_bot
SetEnvIfNoCase User-Agent "^Everflux" bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot
```
2. IIS6服务器:使用ISAPI_Rewrite插件,创建一个规则,如下:
```
RewriteCond %{HTTP_USER_AGENT} (Googlebot|bingbot|Yahoo! Slurp) [NC]
RewriteRule .* - [F,L]
```
该规则将针对Googlebot、Bingbot和Yahoo! Slurp等蜘蛛用户代理,将其拒绝访问。
3. IIS7服务器:在web.config文件中添加以下代码:
```