Categories


Tags


如何正确识别Baiduspider移动ua

百度站长平台发布公告宣布新版Baiduspider移动ua上线,同时公布了PC版Baiduspider UA,那么该如何正确识别移动UA呢?我们百度站长平台技术专家孙权老师给出了答案:

新版移动UA:

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

之前通过“+http://www.baidu.com/search/spider.html”进行识别的网站请注意!您需要修改识别方式,新的正确的识别Baiduspider移动ua的方法如下:

1. 通过关键词“Android”或者“Mobile”来进行识别,判断为移动访问或者抓取。

2. 通过关键词“Baiduspider/2.0”,判断为百度爬虫。

另外需要强调的是,对于robots封禁,如果封禁的agent是Baiduspider,会对PC和移动同时生效。即,无论是PC还是移动Baiduspider,都不会对封禁对象进行抓取。之所以要强调这一点,是发现有些代码适配站点(同一个url,PC ua打开的时候是PC页,移动ua打开的时候是移动页),想通过设置robots的agent封禁达到只让移动Baiduspider抓取的目的,但由于PC和移动Baiduspider的agent都是Baiduspider,这种方法是非常不可取的。

更多相关问题讨论,欢迎移步【学堂同学汇】《如何正确识别Baiduspider移动ua》讨论帖

来源:百度搜索资源平台 百度搜索学堂


Public @ 2010-04-10 15:38:45

蜘蛛抓取有好多动态链接是否有影响?要怎么处理?

我的网站显示的蜘蛛抓取,有好多动态链接是否有影响?是否需要处理。该如何处理?11-29.123.如果不是自己网站本身实际存在的url,很可能是网站由于被人刷,导致的。对应这些动态链接,可以在robots文件中,写一个屏蔽抓取动态链接的语法。User-agent: *Disallow: /*?*更详细的robots设置方法,可以看下面链接课程https://ke.seowhy.com/play/94

Public @ 2019-09-11 16:09:25

百度Spider新增渲染抓取UA公告

为了给搜索用户更好的体验、对站点实现更好地索引和呈现,百度搜索需要访问网站的CSS、Javascript和图片信息,以便更精准地理解页面内容,实现搜索结果最优排名,百度搜索会全面启用最新UA来访问站点的上述资源。从3月24日(2017)开始,百度搜索抽取了部分优质站点进行抓取内测,可能会对站点服务器造成一定压力影响,请尽量不要对UA进行封禁,以免造成不可逆转的损失。最新UA如下:PC:Mozill

Public @ 2020-05-17 15:56:38

我不想我的网站被Baiduspider访问,我该怎么做?

Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站,或者禁止 Baiduspider访问您网站上的部分文件。 注意:禁止Baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于 robots.txt的写作方法,请参看我们的介绍:robots.txt写

Public @ 2017-02-03 15:38:41

更多您感兴趣的搜索

0.462395s