Categories


Tags


Baiduspider的user-agent是什么?

百度各个产品使用不同的user-agent:

产品名称

对应user-agent

网页搜索

Baiduspider

无线搜索

Baiduspider

图片搜索

Baiduspider-image

视频搜索

Baiduspider-video

新闻搜索

Baiduspider-news

百度搜藏

Baiduspider-favo

百度联盟

Baiduspider-cpro

商务搜索

Baiduspider-ads

来源:百度搜索资源平台 百度搜索学堂


Public @ 2012-06-27 15:38:43

百度spider介绍

百度spider,也叫"百度蜘蛛",是百度用于抓取网络上的网页内容的爬虫程序。它会自动搜索网络上的网页,抓取页面上的关键词和摘要,并将它们保存在百度的数据库中。百度的蜘蛛不仅可以抓取网页上的文本信息,还可以抓取网页上的图像和多媒体文件,以及网站上的链接。百度蜘蛛可以在短时间内快速地抓取大量信息,因此十分实用。它也可以抓取动态网页内容,对网络内容进行检索更新,从而搜集到最新最准确的检索结果。

Public @ 2023-02-25 17:36:20

百度搜索资源平台-新版Baiduspider移动ua升级公告

亲爱的网站管理员:近日 ,Baiduspider针对移动抓取user agent(以下简称ua)进行了升级,与PC端的抓取ua做到版本统一,均称为Baiduspider/2.0。移动ua和pc ua详情如下:新版移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/

Public @ 2018-05-20 15:56:40

我不想我的网站被Baiduspider访问,我该怎么做?

您可以在网站的 robots.txt 文件中添加以下内容,以阻止 Baiduspider 访问您的网站: User-agent: Baiduspider Disallow: / 这会告诉 Baiduspider 不要访问您的整个网站。请注意,这也可能会阻止其他搜索引擎的访问。如果您只想阻止 Baiduspider 的访问,可以使用以下代码: User-agent: Baiduspider D

Public @ 2023-05-31 13:50:13

更多您感兴趣的搜索

0.614191s