apache、iis6、ii7独立ip主机屏蔽拦截蜘蛛抓取(适用vps云主机服务器)
针对apache、iis6、iis7独立ip主机屏蔽拦截蜘蛛抓取的方法如下:
1. 在网站根目录下新建一个robots.txt文件,添加以下代码:
User-agent: *
Disallow: /
这样可以禁止所有蜘蛛抓取你的网站。
2. 在服务器端安装mod_security模块并配置,可以使用以下命令:
sudo apt-get install libapache-mod-security
在apache配置文件中添加以下内容: