Categories


Tags


视频极速体验解决方案-百度搜索robots协议全新升级公告

Robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

9月11日,百度搜索robots全新升级。升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

如您的网站未设置robots协议,百度搜索对网站视频URL的收录将包含视频播放页URL,及页面中的视频文件、视频周边文本等信息,搜索对已收录的短视频资源将对用户呈现为视频极速体验页。此外,综艺影视类长视频,搜索引擎仅收录页面URL。

什么是视频极速体验页

搜索视频极速体验服务旨在提升用户观看视频体验的一项富媒体体验升级服务,本服务针对短视频需求场景进行体验优化,将为搜索用户提供稳定、流畅、清晰的播放及浏览体验。视频极速体验服务包含视频极速页和合作平台两部分服务,网站可前往平台完善服务设置,获取各项搜索权益。详情参考《视频极速体验服务说明》。

设置搜索robots协议的后果

针对短视频类内容,视频搜索将不再索引、展现网站的视频资源,历史已索引部分会从搜索中屏蔽。若设置部分目录不希望被收录 ,该目录下内容将从搜索中屏蔽,其余内容在搜索中则以正常结果展示。

robots.txt文件的格式

robots文件往往放置于根目录下,包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL,or NL作为结束符),每一条记录的格式如下所示:

"<field>:<optional space><value><optionalspace>"

在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下:

User-agent:该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中,加入"User-agent:SomeBot"和若干Disallow、Allow行,那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

Disallow:该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html,而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。"Disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

Allow:该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。

使用"*"and"$":Baiduspider支持使用通配符"*"和"$"来模糊匹配url。

"*"匹配0或多个任意字符

"$"匹配行结束符。

最后需要说明的是:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。

robots.txt文件用法举例

网站误封Robots该如何处理

robots文件是搜索生态中很重要的一个环节,同时也是一个很细节的环节。在网站运营过程中,很容易忽视robots文件的存在,进行错误覆盖或者全部封禁robots,造成不必要损失!如果误封禁,请及时删除或修改robots文件,并到百度搜索资源平台robots工具中进行检测和更新。

目录

1. 前言

2. 视频极速体验服务说明

3. 百度搜索robots协议全新升级公告

4. 视频转存说明文档

5. 视频极速体验服务权益激活协议

6. 视频极速页分润结算Q&A

来源:百度搜索资源平台 百度搜索学堂


Public @ 2012-02-22 15:38:33

网站被镜像了怎么办?

1. 网站镜像意味着网站的某些内容和网页在某些外部网站上已被复制; 2. 如果网站被镜像,可以尝试联系复制网站的管理者,请求他们将网站镜像删除。 3. 可以给相关的搜索引擎提交侵权投诉,通知他们将网站镜像从搜索结果中移除; 4. 可以尝试使用一些反链程序和防盗链技术,以阻止网站镜像的复制,并保护网站的内容; 5. 同时可以在自己的网站上添加robots.txt文件,告诉爬虫程序不要爬取

Public @ 2023-02-27 06:00:23

(新版)如何将改版损失降到最低

4月中下旬,站长学堂发出文章《如何将改版后的收录损失降到最低》,被广大站长以及SEO从业人员转载学习。三个月过去了,我们的工具也发生了多次升级,为了方便大家学习操作,今日特意对文章内容进行了更新,具体内容见下:为了改变站点运营效果,部分站长会选择对网站进行改版,包括更换域名和目录规则等。网站任何一个改版变动都意味着人力与财力的大量投入,如何做才能避免改版带来的收录和流量损失,是站长最关心的内容之一

Public @ 2018-01-20 15:36:41

视频极速体验解决方案

视频极速体验解决方案最新更新章节:2018-09-13搜索视频极速体验服务是搜索为提升用户观看视频体验新推出的一项富媒体体验升级服务,本服务针对短视频需求场景进行体验优化,将为用户提供稳定、流畅、清晰的播放体验。视频极速体验是基于熊掌ID为资源方提供品牌、流量等多重权益的播放体验模式,百度搜索邀请全网优秀视频生产者,共同加入并体验视频极速体验合作。来源:百度搜索资源平台 百度搜索学堂

Public @ 2015-10-07 15:38:35

视频极速体验解决方案-视频转存说明文档

视频极速体验解决方案是一种提高观看视频速度的解决方案,在这个方案中,视频转存是其中的一项重要功能。本文将说明如何使用视频转存来提高视频观看速度。 1. 转存意义 视频转存是将原始视频文件复制到另一个位置的过程。转存可以将视频文件从原始位置传输到转存位置,以便更快地增强观看体验。因为缓存区内存能力有限,通过视频转存可以减少网络传输量和网络延迟,从而减轻服务器负荷,同时也可以使视频播放更加流畅。

Public @ 2023-05-28 14:50:18

更多您感兴趣的搜索

0.421626s