网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？
微信 悬赏
网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？要如何做才能让百度来抓取本站页面，一个多页了啥都没抓取，谜一样。。。
以下抓取页面都不存在，另外网站例如新闻页面生成的文章在根目录是没有的，应该是动态的，这是否导致都不抓取了呢？
回答：你确定蜘蛛是真的百度蜘蛛吗？99.99%的概率是假蜘蛛，不是真的！
来源：A5营销
朱健飞：李师兄，您好，很高兴和您聊天。 李：嗨，朱老师，很高兴见到您。我应该谈谈关于我们共同的研究领域，即人工智能与自然语言处理，对吧？ 朱健飞：是的，我们可以对话一下关于这个领域的最新技术，比如说机器学习，深度学习和语言模型等等。 李：没错，我们可以讨论一下如何利用这些技术解决实际问题，比如说自然语言理解与智能推理这样的实际问题。 朱健飞：没错，我们可以探讨一下如何利用机器学习、深度
https更安全，搜索引擎更倾向于更安全的站点，所以如果网站改造成https后，搜索引擎可能会给排名上一定的影响，但具体影响程度未知，也可能不存在明显的影响。一般来说，网站改造为https后应该会有利于搜索引擎优化，从而提升网站排名，但并不能保证一定会得到提升。
* Apache：通过在网站主机的.htaccess文件中添加下面一行代码即可实现： `SetEnvIfNoCase User-Agent "bot|crawl|spider|Yahoo|ia_archiver| other_spider|Googlebot" bad_bot` * IIS6：打开IIS管理器，右键点击网站，点击“属性”，然后选择“文件夹”，点击高级，在高级属性中勾选
前两天人们注意到Google Adsense蜘蛛所抓取的网页会出现在搜索结果中。Matt Cutts在他的博客里迅速的做出了回应，对这种现象做了进一步解释。简单来说，Google在完成大爸爸数据中心升级后，各种蜘蛛抓取网页的机制产生了变化。不是各个蜘蛛直接抓取网页，而是由一个爬行缓存代理crawl caching proxy抓取网页，然后不同的蜘蛛从这个缓存中获取内容，从而节省了带宽。Matt C
