网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？
微信 悬赏
网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？要如何做才能让百度来抓取本站页面，一个多页了啥都没抓取，谜一样。。。
以下抓取页面都不存在，另外网站例如新闻页面生成的文章在根目录是没有的，应该是动态的，这是否导致都不抓取了呢？
回答：你确定蜘蛛是真的百度蜘蛛吗？99.99%的概率是假蜘蛛，不是真的！
来源：A5营销
Angry40 提问于 3年 之前我们网站是今年十月份买的权2网站域名，重新做的新站。因为是老域名，网站的上关键词的速度还是不错的，导致各大站长平台的权重值虚高。网站实际流量才1-2k，各站长平台给出的权重在权5到权6，预估流量达到8-10k。预估流量虚高、网站权重虚高，这是网站本身的问题，还是各站长平台的问题。预估流量达到8-10k。预估流量虚高、网站权重虚高，这是网站本身的问题，还是各站长平台
1. 确定网站的目标与主题：首先需要明确该网站的主题，主要服务对象是谁，目标是什么等等。确定目标后可以决定网站栏目的数量和种类，以及每个栏目的内容和分类方式。 2. 制定栏目结构：根据网站主题和目标，制定网站的栏目结构，明确各栏目的名称和顺序。一般建议不要在网站上设置过多的栏目，因为这样容易导致用户混淆和迷失，建议一般不超过10个栏目。 3. 确定栏目内容：栏目内容是网站吸引用户的关键之一，需
蜘蛛程序（spider）是一种按照一定规则自动地在互联网上检索和获取信息的计算机程序。蜘蛛程序的工作方式类似于蜘蛛在网上爬行，它通过网络链接搜索引擎等目标网站的页面，并按照预先设定的算法和规则提取所需的信息。 蜘蛛程序主要用于搜索引擎的建立与维护，它们能够自动化地获取大量的网页内容，并将其存储在搜索引擎的数据库中。蜘蛛程序可以按照用户设定的关键词和搜索模式来搜索相关的网页，然后将搜索结果进行分析
网站做的越大，蜘蛛越多。可是有时候会发现：网站被各种搜索引擎的蜘蛛抓的服务器都快崩溃了，严重的占用了服务器的资源。这个时候要怎么办呢？百度蜘蛛：Baiduspider谷歌蜘蛛：Googlebot360蜘蛛：360SpiderSOSO蜘蛛：Sosospider神马蜘蛛：YisouSpider微软必应： BingBot在国内，我们不要把这几个蜘蛛使用robots.txt屏蔽就可以了，至于其他的，都可以
