什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
为了提升站点提交的优质资源的处理效率，搜索资源平台对平台工具的sitemap文件提交配额进行限制，包括“资源提交-普通收录-sitemap提交”、“链接提交-死链提交”。平台将基于站点资源质量和搜索用户喜欢程度综合评估计算站点提交配额，站点不同，提交配额也可能不同。在平台工具“资源提交-普通收录-sitemap提交”界面，可查看普通收录工具的天级提交配额和存量文件配额在平台工具“链接提交-死链提交
“百度搜索结果右侧的小图标是错误的，如何修改？”也就是上图中所标示的位置。出现这样的情况网站管理员比较头疼，上周在VIP大讲堂学员微信群里，蘑菇街SEO人赵伟急火火地问：搜“美丽说”，右侧我们蘑菇街的图标是错的，怎么改？急急急！为此，院长走访了专门负责此类投诉的同事，协助赵伟走了一遍流程，发现搜索结果右侧图标还是很好改的嘛。下面就让我们看看蘑菇街SEO人赵伟做的经验分享。背景是这样滴：某日Boss
亲爱的网站管理员，很高兴的告诉大家，百度站长平台robots工具全新升级，升级后能够实时查看网站在百度中已生效的的robots文件，并支持对robots进行语法及逻辑校验，有助于站长更清晰的管理网站的robots文件，避免错误的封禁搜索引擎。功能亮点：1、实时查看网站在百度中已生效的robots文件内容并可通知百度更新：升级后的robots能够查看网站已生效的robots文件，同时会展现网站最新的
为什么我的网站已经加了robots.txt，还能在百度搜索出来？因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。来源：百度搜索资源平台 百度搜索学堂
