什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
智能小程序推出搜索结果出图新权益，搜索结果中展现图片，在搜索结果中展现图片，不仅可以让搜索用户有更好的浏览体验，同时也可以吸引用户更多点击，有效提升资源点展比，对于开发者来说是一个高价值的权益。现阶段一图样式已全量开放，三图样式逐渐开放中。很多开发者对出图目前还不是很了解，配置过程中会有很多疑问。所以本期视频会为大家详细介绍智能小程序搜索结果出图具体是什么，如何配置，可以得到什么收益，以及配置过程
各位站长，新闻检索下展示为系统判断，无申请机制，百度搜索资源平台已于2017年3月对外发布公告，新闻源取消。如新闻检索下有网站名称标注错误等问题，可通过反馈中心反馈。来源：百度搜索资源平台
头条搜索Robots匹配说明是指在头条搜索引擎中，用户输入的搜索关键词与已经编写好的机器人规则进行匹配，用以判断搜索结果的排序和展示方式。这些机器人规则是由头条搜索建立的算法模型，通过对用户的搜索历史、搜索习惯、查询的信息内容等多方面的分析，提供给用户最符合其需求的搜索结果。Robots匹配在很大程度上影响用户在头条搜索引擎中的搜索体验和结果准确性。
控制页面的抓取、索引是SEO优化网站结构时经常需要用到的技术。常见的工具包括：robots文件页面的noindex标签链接的nofollow属性页面的301转向页面的canonical标签等这几个工具各有各的特定应用场景，但都是用于控制网站内部结构，之间容易混淆，还经常需要配合使用，SEO们必须准确理解这几个工具的机制和原理，不然很容易出错。这篇贴子讨论robots文件。Robots文件的作用ro
