什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
亲爱的网站管理员：为配合Spider3.0系统的升级，百度站长平台的链接提交工具主动推送功能，不再限制站长每天提交的链接数量，欢迎站长更踊跃更及时地向百度提交更多优质页面。为了保持对已有提交代码的兼容性，提交接口返回数据中的“remain：当天剩余的可推送url条数”字段会保留，但是固定为“1”。新版主动推送功能会对站长提交的内容进行识别，恶意提交垃圾页面或者重复页面的站点将会被惩罚限制提交，直至
百度新闻源申请入口流程全面升级，升级后入口更加明确了百度新闻源的定义和要求，更是将申请粒度细化到站点频道、二级域名，同时在申请的过程中给站点更加明确的指引。反馈与申请有不同的渠道：申请过程中会有提示站点必须要提交的内容：申请之后请完善下联系方式：增加明确的提交记录和答复时间：关于百度新闻源的升级问题大家可以到[工具体验交流] 百度新闻源申请流程升级公告讨论帖中留言，我们会对大家的问题进行整理。来源
robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。搜索引擎通过一
1. 不需要在每个页面都添加robots.txt文件：robots.txt文件只是一份给搜索引擎看的指令，如果不希望搜索引擎从该页面抓取数据，那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备：robots.txt文件可用于搜索引擎爬虫，但也可以在部分机型的移动设备上进行yu处理，可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用
