网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？
微信 悬赏
网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？要如何做才能让百度来抓取本站页面，一个多页了啥都没抓取，谜一样。。。
以下抓取页面都不存在，另外网站例如新闻页面生成的文章在根目录是没有的，应该是动态的，这是否导致都不抓取了呢？
回答：你确定蜘蛛是真的百度蜘蛛吗？99.99%的概率是假蜘蛛，不是真的！
来源：A5营销
有人问我：网站被攻击了怎么办？如果你的网站比较小，就是一个很普通的企业站，那种权重123的，这种站直接采用一个CDN，购买CDN的流量，就可以把攻击给抗住了，不会导致网站打不开，也就不会影响网站的排名。而如果你的网站比较大，比如权重567这种的，一般来讲这样的网站被攻击，对方通常不会轻易放手，怎么也得折腾你几天时间，如果使用CDN的话，可能会遭遇很大的‘流量’浪费，CDN产生的费用太高了。那么如何
小张 提问于 12月 之前ZAC老师，您好，我的网站是文案策划网，是单页型的网站，收录为一，后来收录变成了二，通过站长工具查询没有带www的域名的时候就会显示有两个收录的域名，一个是带www的，另外一个是没有带www的，网站双收录能不能通过没有带www的域名来做301重定向到带www的域名来解决双收录的问题，多谢你啊！15 个回答Zac 管理员 回答于 12月 之前这是典型的网址规范化问题。解决的
针对apache、iis6、iis7独立ip主机屏蔽拦截蜘蛛抓取的方法如下： 1. 在网站根目录下新建一个robots.txt文件，添加以下代码： User-agent: * Disallow: / 这样可以禁止所有蜘蛛抓取你的网站。 2. 在服务器端安装mod_security模块并配置，可以使用以下命令： sudo apt-get install libapache-mod-secu
网站做的越大，蜘蛛越多。可是有时候会发现：网站被各种搜索引擎的蜘蛛抓的服务器都快崩溃了，严重的占用了服务器的资源。这个时候要怎么办呢？百度蜘蛛：Baiduspider谷歌蜘蛛：Googlebot360蜘蛛：360SpiderSOSO蜘蛛：Sosospider神马蜘蛛：YisouSpider微软必应： BingBot在国内，我们不要把这几个蜘蛛使用robots.txt屏蔽就可以了，至于其他的，都可以
