Categories


Tags


Baiduspider的user-agent是什么?

百度各个产品使用不同的user-agent:

产品名称

对应user-agent

网页搜索

Baiduspider

无线搜索

Baiduspider

图片搜索

Baiduspider-image

视频搜索

Baiduspider-video

新闻搜索

Baiduspider-news

百度搜藏

Baiduspider-favo

百度联盟

Baiduspider-cpro

商务搜索

Baiduspider-ads

来源:百度搜索资源平台 百度搜索学堂


Public @ 2012-06-27 15:38:43

为什么我的网站已经加了robots.txt,还能在搜狗搜索出来

虽然您在网站上加了robots.txt文件,但搜狗搜索引擎仍然可以在搜索结果中显示您的网站。这是因为robots.txt文件只是一个标准化的协议,它主要用于指导搜索引擎爬虫(蜘蛛)如何访问和索引网站的内容。 尽管大多数搜索引擎都会遵循robots.txt文件中的规则,但有些搜索引擎可能会选择忽略它或解释不同的方式。这可能是因为搜狗搜索引擎没有完全遵循robots.txt文件的指示,或者由于其他原

Public @ 2023-07-31 04:00:31

我不想我的网站被Baiduspider访问,我该怎么做?

Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站,或者禁止Baiduspider访问您网站上的部分文件。 注意:禁止Baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于robots.txt的写作方法,请参看我们的介绍:robots.txt写作方

Public @ 2010-07-26 15:56:48

Baiduspider抓取造成的带宽堵塞?

Baiduspider抓取造成的带宽堵塞?Baiduspider的正常抓取并不会造成您网站的带宽堵塞,造成此现象可能是由于有人冒充Baiduspider恶意抓取。如果您发现有名为Baiduspider的agent抓取并且造成带宽堵塞,请尽快和我们联系。您可以将信息反馈至反馈中心,如果能够提供您网站该时段的访问日志将更加有利于我们的分析。如果大家对百度spider还有别的疑问,大家可以到[学堂同学汇

Public @ 2019-04-06 15:38:40

我不想我的网站被Baiduspider访问,我该怎么做?

Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站,或者禁止Baiduspider访问您网站上的部分文件。 注意:禁止Baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于robots.txt的写作方法,请参看我们的介绍:robots.txt写作方

Public @ 2010-07-26 15:56:48

更多您感兴趣的搜索

0.409137s