什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
工具特型获流权益是专为工具类小程序提供的高效分发权益，开发者只需要提交小程序中工具页面的结构化信息，审核通过后即可入驻工具结构化数据库，从提交审核到线上展示最快可以半天完成。该数据库中资源将依据小程序交互体验、场景契合度等多维度评估结论，推送至含搜索寻址、搜索特型、百度APP端场景、贴吧场景等多渠道分发，实现一站式提交、多渠道分发。在数据提交之前，也许您还需要了解以下几个问题：什么是工具？我们所说
自百度站长平台后台的站点属性设置开通上传网站LOGO功能以来，平台相关工作人员每天都上满了发条对LOGO进行严格审核。通过审核的站点不仅在百度搜索结果页中显示相关图片，还增加了网站在右侧相关搜索中出现的机会。但是我们发现，没有通过审核的站点非常多，大部分是因为不熟悉规则而被拒绝通过。于是，学院走访了负责该项目的产品人员，了解到了工作人员的审核原则，特分享给大家。在说明审核原则之前，我们要先强调一下
robots.txt 是一个文件，它位于网站的根目录下，用于告诉搜索引擎和机器人哪些页面可以被访问或哪些不应该被访问。以下是 robots.txt 语法教程。 1. User-agent User-agent 表示搜索引擎或机器人的名称。当网站管理员想要禁止某个搜索引擎或机器人访问网站时，可以使用 User-agent 指定名称。 例如： User-agent: Googlebot Dis
Crawl-delay 指令:几大抓取工具支持Crawl-delay参数，设置为多少秒，以等待同服务器之间连续请求，如:User-agent:*Crawl-delay:10来源：360站长平台
