Categories


Tags


开发者如何解除封禁百度蜘蛛

近期收到一些开发者反馈,为什么网站或智能小程序资源的内容非常优质,但是没有查询到百度蜘蛛抓取记录,或在百度搜索中没有得到收录和展现?

在技术分析后发现,有些网站或智能小程序存在封禁百度蜘蛛的情况,导致百度蜘蛛无法正常抓取,所以无法在百度搜索中正常收录和展现,或在搜索结果中的摘要展现为“存在robots封禁”字样。

为了让广大开发者的网站或小程序,在百度搜索中得到正常的收录和展现,建议开发者及时根据以下内容自查,解除封禁问题,并通过链接提交工具主动提交给我们。

常见的封禁行为包括robots封禁、封禁百度UA、封禁百度IP等。

如何验证网站和智能小程序是否存在封禁百度蜘蛛的情况?

1、首先, 查看robots.txt文件,是否存在封禁记录。(一般robots.txt文件放置在网站根目录下。)

【建议方案】解除robots封禁:robots封禁情况,请检查robots.txt文件,及时修改。

robots文件说明:https://ziyuan.baidu.com/college/articleinfo?id=1516

2、robots文件无异常,进一步排查是否存在封禁百度UA情况;

方案一:执行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'

注:正常返回码是200,其他情况为异常。

xxxxxxx为网站域名,如:http://abc.com.cn。

正确识别和获取百度蜘蛛,https://ziyuan.baidu.com/college/articleinfo?id=2855

方案二:变更浏览器UA验证;

【建议方案】解除百度UA封禁:查看网站反爬虫策略,进行策略调整。或针对百度UA添加策略白名单。

3、以上验证均无异常,最后进一步排查是否存在IP级别的封禁;

常见的IP封禁,源自网站的防火墙系统配置,需要查看防火墙配置系统后台,检查是否存在百度蜘蛛的IP级别封禁措施。

【建议方案】解除百度IP封禁:查看网站反爬虫策略,进行策略调整。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2011-02-07 15:38:37

如果快照显示网页不完整,是不是说明BaiduSpider没有完整收录网页?

不一定,BaiduSpider 可能没有完整收录网页,也可能完整收录但快照却不完整。例如,某个网页上的脚本可能没有加载完成,这样就可能造成快照显示不完整,又或者,BaiduSpider完整把网页收录了,但是Baidu在生成快照时,出现了问题,导致快照不完整。

Public @ 2023-02-24 19:00:13

sogou spider User-Agent字段是什么?

Sogou spider User-Agent字段是一种用于爬虫程序中的HTTP报头,它是搜狗搜索的爬虫程序使用的字符串,其格式为:"Sogou web spider/版本号(语言:语言代码;平台:操作系统)",例如:"Sogou web spider/4.0(Windows NT 6.1;zh-CN)"。该字段包含了爬虫程序的名称、版本号、语言和操作系统等信息。

Public @ 2023-05-26 16:50:07

百度Spider新增渲染抓取UA公告

为了给搜索用户更好的体验、对站点实现更好地索引和呈现,百度搜索需要访问网站的CSS、Javascript和图片信息,以便更精准地理解页面内容,实现搜索结果最优排名,百度搜索会全面启用最新UA来访问站点的上述资源。从3月24日(2017)开始,百度搜索抽取了部分优质站点进行抓取内测,可能会对站点服务器造成一定压力影响,请尽量不要对UA进行封禁,以免造成不可逆转的损失。最新UA如下:PC:Mozill

Public @ 2020-05-17 15:56:38

百度Spider渲染UA在移动端全流量上线

百度Spider在2017年3月同时推出渲染UA在移动端和PC端进行内测(《百度Spider新增渲染UA抓取公告》),内测期间分析了多个抓取量异常的case,均非渲染UA造成。本周百度Spider渲染UA在移动端全流量上线,PC端还未全部覆盖。特提醒PC站长,截止目前,对搜索引擎和用户有价值的内容,还是尽量不要使用JS加载的方式,以免造成不能索引等损失。来源:百度搜索资源平台

Public @ 2014-04-27 15:38:47

更多您感兴趣的搜索

0.400011s