什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
亲爱的网站管理员：经过百度站长平台工程师的努力，网站改版工具全新升级。网站改版虽然不是网站管理员的需求，可一旦执行起来往往会对站点在百度搜索引擎里的表现造成重大影响。新网站改版工具的功能升级，可以让改版不再成为难题：? 缩短处理生效时间，从过去的一至两个月到现在最短12.5小时? 正则格式提交返场，继续为网站管理员们服务? 开辟最直观简单的链接对提交功能，管理员可一次性在对话框处提交2000条新旧
使用说明落地页视频转存工具可以将您的视频资源转存到百度域下，降低站点带宽压力和不稳定性，提升搜索用户浏览视频的体验。注意事项您的站点暂无视频转存权限，目前视频转存服务仅向专业问答资源方开放。视频转存地址仅用于生产专业问答，不可用于其他场景或渠道。功能示例来源：百度搜索资源平台
网站误封Robots该如何处理robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！如果误封禁，请及时删除或修改robots文件，并到百度站长平台robots工具中进行检测和更新。来源：百度搜索资源平台
robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站时，首先会检查该网站中是否存在这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
