robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
对开发者：智能小程序为开发者提供对接百度搜索生态的能力，为智能小程序导入搜索流量，旨在打造更加开放、互联互通的小程序生态。对百度用户：在百度搜索结果页中，当智能小程序某页面被正常检索到，其展现形式和普通网页相同，用户在百度 App（10.10 或以上版本）点击该条搜索结果，即可打开智能小程序。自然搜索结果示例Alt text搜索流量接入流程图Alt text来源：百度智能小程序
亲爱的网站管理员：平台产品人员和工程师在听取了各方意见后，为了方便管理员操作、提高工作效率，在平台工具中推出了站点信息功能。进入该功能界面后，管理员可以很清楚地看到自己站点在百度网页搜索中的全貌，包括最核心的流量数据、索引量数据，链接提交、移动适配的效果，以及各种用于分析、查找问题的关键数据。同时管理员可以通过该功能一键直达相关工具，查看更加详细的内容。平台工具上线站点信息功能公告.jpeg为了更
Robots.txt 是一个网站管理员可通过在站点根目录中放置一个名为robots.txt的文件来让搜索引擎（及其爬虫）知道该如何来收录并处理某些目录或页面，并使索引过程更加有效更加规范。 Robots.txt 的作用是向搜索引擎解释网站中哪些目录和文件希望被搜索引擎收录、哪些不希望收录，以避免搜索引擎抓取到网站误差的内容。如果 robots.txt 被恰当地设置，可以有效提高收录质量和网站
Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。INDEX 指令告诉搜索机器人抓取该页面；FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；Robots Me
