Categories


Tags


如何用程序识别Baiduspider ua

近日 ,Baiduspider针对移动抓取user agent(以下简称ua)进行了升级,与PC端的抓取ua做到版本统一,均称为Baiduspider/2.0。从此次更新的移动ua和PC ua来看,不管是移动ua还是PC ua都包含有关键字Baiduspider,我们可以由此判断访客ua是不是来自百度。与PC ua不同的是,移动ua包含有关键字android和mobile,再通过这两个关键字,我们就可以识别出来访的访客ua是移动ua还是pc ua。

通过以上判断逻辑,我们可以很容易判断出来访的ua类型。下面是如何通过主流的php和asp语言来判断来访的ua类型。

php版:

<?php

$ua=$_SERVER['HTTP_USER_AGENT'];

$ua=strtolower($ua);

if($ua!="" &&strpos($ua,"baiduspider")){

if(strpos($ua,"android") || strpos($ua,"mobile")){

echo "是百度移动UA";

}else{

echo "是百度PCUA";

}

}else{

echo"不是baiduspider UA";

}

?>

asp版:

<%

ua=Request.ServerVariables("HTTP_USER_AGENT")

ua=LCase(ua)

if ua<>"" andInStr(ua,"baiduspider")<>0 then

ifInStr(ua,"android")<>0 or InStr(ua,"mobile")<>0then

response.write "是百度移动 UA"

else

response.write"是百度PC UA"

endif

else

response.write "不是baiduspiderUA"

end if

%>

以上demo可以用来简单判断来访ua是否是Baiduspiderua,以及是什么类型的ua,在实际使用过程中,请稍加修改后使用。

如果同学们针对文章中的内容还有疑问的话,欢迎来到【学堂同学汇】讨论专帖进行留言讨论。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2016-12-20 15:38:45

Baiduspider抓取造成的带宽堵塞?

Baiduspider是百度搜索引擎的网络爬虫程序,用于抓取网页内容并建立索引。由于百度搜索引擎的流量庞大,Baiduspider的爬取行为可能会对网站的带宽造成一定的压力,尤其是对于小型网站或者带宽较小的服务器来说,这种压力可能会导致带宽堵塞。 当Baiduspider爬取网页时,它会发送大量的HTTP请求到目标服务器,从而消耗服务器的带宽资源。如果网站的带宽无法满足Baiduspider的抓

Public @ 2023-07-26 06:50:45

什么是蜘蛛池?

网站关键词上海网站建设、网站建设两个都有,如果我先做简单的上海网站建设这样,上海网站建设的关键词密度我会注重提高,可是网站建设关键词的密度也会提高(上海网站建设包含了网站建设)这样子是不是就相当于是在做两个关键词?夫唯是的。所以,到时你权重高了后,那个难度大的词也会上去。烟火有的网站权重不高,但差不多秒收,是不是有什么作弊技巧在里面?我有听说过蜘蛛池什么的,不是特别懂?夫唯蜘蛛池简单说,是手上有很

Public @ 2022-11-04 16:22:31

【官方说法】百度蜘蛛抓取流量暴增的原因

Spider对网站抓取数量突增往往给站点带来很大烦恼,纷纷找平台想要Baiduspider IP白名单,但实际上BaiduSpider IP会随时变化,所以并不敢公布出来,担心站长设置不及时影响抓取效果。百度是怎么计算分配抓取流量的呢?站点抓取流量暴增的原因有哪些呢?总体来说,Baiduspider会根据站点规模、历史上网站每天新产出的链接数量、已抓取网页的综合质量打分等等,来综合计算抓取流量,同

Public @ 2011-07-18 15:38:37

Baiduspider抓取造成的带宽堵塞?

Baiduspider的正常抓取并不会造成您网站的带宽堵塞,造成此现象可能是由于有人冒充Baiduspider恶意抓取。如果您发现有名为Baiduspider的agent抓取并且造成带宽堵塞,请尽快和我们联系。您可以将信息反馈至 投诉平台 ,如果能够提供您网站该时段的访问日志将更加有利于我们的分析。

Public @ 2022-11-07 15:56:46

更多您感兴趣的搜索

0.463909s