robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
尊敬的用户： 近日，百度搜索资源平台官网的LOGO部分被恶意站点盗用，严重侵犯了百度平台的版权及商标权，同时也恶化了用户体验。 为了维护平台的合法权益及用户利益，百度决定针对以上恶意行为，对涉事站点进行站点禁用，并保留追究法律责任的权利。 在此，我们提醒广大用户： 1.请勿在涉事站点进行任何搜索或操作，以免造成不必要的损失。 2.如遇到任何盗用或侵权问题，请及时联系平台客服或发送邮件至c
使用说明可对站点的一些基本信息继续设置，在此提交的数据百度会根据策略进行筛选，不保证完全采用品牌信息站点Logo：站点Logo状态： 已通过请提交121*75、200*133两种尺寸的图片，以保证在搜索多场景中都能清晰显示图片通过审核后将用于搜索结果页，但不保证所有上传图片均能采用如何正确上传Logo?修改 预览品牌展现：（名称）无权限站点关联小程序并提交适配规则将有机会优先获得该权限。了解品牌展
设置搜索robots协议的后果针对短视频类内容，视频搜索将不再索引、展现网站的视频资源，历史已索引部分会从搜索中屏蔽。若设置部分目录不希望被收录 ，该目录下内容将从搜索中屏蔽，其余内容在搜索中则以正常结果展示。来源：百度搜索资源平台
为什么我的网站已经加了robots.txt，还能在百度搜索出来？因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。来源：百度搜索资源平台 百度搜索学堂
