什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
欢迎您使用智能小程序平台提供的第三方平台开发者服务！为使用智能小程序第三方平台开发者服务（以下简称“本服务”），您应当阅读并遵守《智能小程序第三方平台开发者服务协议》（以下简称“本协议”），本协议视与《百度用户协议》、《智能小程序平台服务条款》等相关协议和规则视为一个整体，除非您已阅读并接受本协议及相关协议、规则的所有条款，否则，请您停止使用本服务。您使用本服务，即视为您已阅读并同意上述协议、规则
上线前发布上线前，请确认完成真实性认证，否则小程序将无法发布上线。上线中开发者发布小程序时，支持两种发布方式：全量发布和灰度发布。全量发布小程序审核通过后，开发者点击“全量发布”即可面向全量用户进行发布。灰度发布为帮助开发者快速验证产品，减少新版本缺陷对线上服务造成的影响，保证新版上线后的稳定性，小程序提供灰度发布能力，审核通过后可小流量发布。发布流程：1、开发者进入灰度发布入口：“小程序平台 -
Robots.txt 是一个网站管理员可通过在站点根目录中放置一个名为robots.txt的文件来让搜索引擎（及其爬虫）知道该如何来收录并处理某些目录或页面，并使索引过程更加有效更加规范。 Robots.txt 的作用是向搜索引擎解释网站中哪些目录和文件希望被搜索引擎收录、哪些不希望收录，以避免搜索引擎抓取到网站误差的内容。如果 robots.txt 被恰当地设置，可以有效提高收录质量和网站
robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
