对于您网站上新产生的或者持续更新的页面，Baiduspider会持续抓取。此外，您也可以检查网站访问日志中Baiduspider的访问是否正常，以防止有人恶意冒充Baiduspider来频繁抓取您的网站。 如果您发现Baiduspider非正常抓取您的网站，请通过投诉平台反馈给我们，并请尽量给出Baiduspider对贵站的访问日志，以便于我们跟踪处理。
近期发现部分网站出现抓取异常情况，主要问题是网站误封了百度UA。为了网站更好获得搜索展现，请各位站长按照以下UA进行排查，避免出现误封问题！移动 UAMozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46(KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatib
1、网站和页面权重。质量高，资格老的网站被认为权重比较高，这种网站上的页面被爬行的深度也会比较高，所以会更多内页被收录。2、与首页点击距离。一般来说网站上权重最高的是首页，大部分外部链接是指向首页的，蜘蛛访问最频繁的也是首页。离首页点击距离近，页面权重越高，被蜘蛛爬行的机会也越大。3、导入链接。无论是外部链接还是同一个网站的内部链接，要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本没有机会知道
1. 什么是BaiduspiderBaiduspider是百度搜索引擎的一个自动程序，它的作用是访问互联网上的网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站上的网页。2. Baiduspider的user-agent是什么？百度各个产品使用不同的user-agent：产品名称对应user-agent网页搜索Baiduspider无线搜索Baiduspider图片搜索Baiduspide
1. 设置robots.txt文件 在根目录中建立一个robots.txt文件，设置禁止百度抓取即可达到屏蔽百度爬虫的效果，具体设置内容如下： User-agent: Baiduspider Disallow: / 2. 自定义Http请求 百度爬虫最显著的特征就是它的User_Agent中包含Baiduspider，一般在Http头中添加请求头：X-Baidu-Env：martin-
