网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？
微信 悬赏
网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？要如何做才能让百度来抓取本站页面，一个多页了啥都没抓取，谜一样。。。
以下抓取页面都不存在，另外网站例如新闻页面生成的文章在根目录是没有的，应该是动态的，这是否导致都不抓取了呢？
回答：你确定蜘蛛是真的百度蜘蛛吗？99.99%的概率是假蜘蛛，不是真的！
来源：A5营销
song 提问于 3年 之前网站上线三个多月了，上线前就做了伪静态，目前被收录近万的页面都是伪静态地址，线上没有动态地址的入口，为什么网站日志里抓取的全部都是动态地址呢？网兼吧 回复于 3年 之前用robots.txt禁止抓取呢3 个回答Zac 管理员 回答于 3年 之前如果搜索引擎蜘蛛没有在什么地方看到动态网址，蜘蛛不会把静态URL改写成动态的，搜索引擎无法知道页面是动态的还是静态的，即使猜测是
1、先检查移动端有没有页面加载速度慢，响应延迟等问题，如果有，那就需要进行加速和优化，以提升搜索引擎（SE）对移动端的抓取性能。 2、移动端和PC端网站的内容应该是尽量一致的，要保证移动端页面获得足够有价值的内容，不能以垃圾页面或者拖拉太长，非有价值的页面为主，此外，要定期对网站的内容进行更新，不断提升用户的体验，以及提高搜索引擎新获得的有价值信息的质量。 3、要注意网页标题、关键字、外链
一般用在网站被挂马以后，直接访问没有问题，可以通过模拟百度或其他搜索引擎来访问，即可发现问题。比如下面的例子，直接访问没问题，使用模拟搜索引擎访问即可发现问题。比如访问一个针对搜索引擎挂马的网页：http://www.zttoten.com/index.php?rmlbgh=cbfmcm&westauditpageinfo=1 [这个地址可能会会失效]，这样就可以看到被挂马的情况。（默认情
前两天人们注意到Google Adsense蜘蛛所抓取的网页会出现在搜索结果中。Matt Cutts在他的博客里迅速的做出了回应，对这种现象做了进一步解释。简单来说，Google在完成大爸爸数据中心升级后，各种蜘蛛抓取网页的机制产生了变化。不是各个蜘蛛直接抓取网页，而是由一个爬行缓存代理crawl caching proxy抓取网页，然后不同的蜘蛛从这个缓存中获取内容，从而节省了带宽。Matt C
