Categories


Tags


开发者如何解除封禁百度蜘蛛

近期收到一些开发者反馈,为什么网站或智能小程序资源的内容非常优质,但是没有查询到百度蜘蛛抓取记录,或在百度搜索中没有得到收录和展现?

在技术分析后发现,有些网站或智能小程序存在封禁百度蜘蛛的情况,导致百度蜘蛛无法正常抓取,所以无法在百度搜索中正常收录和展现,或在搜索结果中的摘要展现为“存在robots封禁”字样。

为了让广大开发者的网站或小程序,在百度搜索中得到正常的收录和展现,建议开发者及时根据以下内容自查,解除封禁问题,并通过链接提交工具主动提交给我们。

常见的封禁行为包括robots封禁、封禁百度UA、封禁百度IP等。

如何验证网站和智能小程序是否存在封禁百度蜘蛛的情况?

1、首先, 查看robots.txt文件,是否存在封禁记录。(一般robots.txt文件放置在网站根目录下。)

【建议方案】解除robots封禁:robots封禁情况,请检查robots.txt文件,及时修改。

robots文件说明:https://ziyuan.baidu.com/college/articleinfo?id=1516

2、robots文件无异常,进一步排查是否存在封禁百度UA情况;

方案一:执行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'

注:正常返回码是200,其他情况为异常。

xxxxxxx为网站域名,如:http://abc.com.cn。

正确识别和获取百度蜘蛛,https://ziyuan.baidu.com/college/articleinfo?id=2855

方案二:变更浏览器UA验证;

【建议方案】解除百度UA封禁:查看网站反爬虫策略,进行策略调整。或针对百度UA添加策略白名单。

3、以上验证均无异常,最后进一步排查是否存在IP级别的封禁;

常见的IP封禁,源自网站的防火墙系统配置,需要查看防火墙配置系统后台,检查是否存在百度蜘蛛的IP级别封禁措施。

【建议方案】解除百度IP封禁:查看网站反爬虫策略,进行策略调整。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2011-02-07 15:38:37

如何让 sogou spider 不抓我的网站

有以下几种方式可以让 sogou spider 不抓取你的网站: 1. 使用 robots.txt 文件。在网站根目录下添加 robots.txt 文件,并加入以下代码: User-agent: Sogou Disallow: / 这将告诉 Sogou 爬虫不要访问网站的任何页面和文件。 2. 使用 meta 标签。在网站的头部添加以下 meta 标签: 这将告诉所有的搜索引擎爬虫不

Public @ 2023-04-18 21:00:23

BaiDuSpider百度蜘蛛占用流量,robots.txt设置

BaiDuSpider是百度搜索引擎自动抓取网页的蜘蛛程序。由于蜘蛛程序需要不断访问网站上的页面,所以会占用一定的流量资源。对于网站管理员来说,如果BaiDuSpider的访问量过大,也会对网站的带宽和性能造成一定的负担。 为了避免BaiDuSpider的过度访问,网站管理员可以通过在网站根目录下创建robots.txt文件,来控制搜索引擎蜘蛛的访问。通过设置robots.txt文件,可以告诉B

Public @ 2023-03-31 08:00:24

百度搜索引擎基础知识

百度搜索引擎是基于百度公司的搜索技术和算法开发的一款搜索服务,用于全球互联网信息的检索和查找。 以下是百度搜索引擎的基础知识: 1. 索引:百度搜索引擎将互联网上的网页和文档建立索引,通过索引来快速检索和查找相关信息。 2. 网页排名:百度搜索引擎根据自己的算法和用户搜索的关键字来对搜索结果进行排序,排名靠前的网页更容易被用户查看和访问。 3. 关键字:在百度搜索引擎中,用户通过输入关键字

Public @ 2023-06-27 14:51:01

如何判断是否冒充Baiduspider的抓取?

建议您使用DNS反查方式来确定抓取来源的ip是否属于百度,根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:5.1 在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.b

Public @ 2022-04-26 15:38:41

更多您感兴趣的搜索

0.560618s