什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
百度搜索资源平台是为网站快速收录上线提供的服务平台，由百度公司和业内知名的搜索服务提供商开发的搜索资源服务平台，通过百度搜索资源平台，可以加快网站收录上线，缩短网站上线时间。 百度搜索资源平台基于百度安全链接，Sunrise和正确静态地址，提供安全高性能的专业技术支持，为您提供最优搜索体验服务。 百度搜索资源平台不仅可以加快网站收录，而且还可以提高网站可视性，让网站能够快速被百度搜索抓取、
之前学院制作了 《织梦移动化攻略全分享专题》获得了大量管理员的关注，很大程度的降低了PC站移动化的难度，但美中不足的是移动端的URL只能动态实现。这次站长社区超级版主—洪石陈，又为大家带来了福利《 Dedecms移动站静态化实操分享》！如果大家觉得视频不过瘾，还可以去站长社区《[达人分享] Dedecms移动站静态化实操分享 》中进行提问，作者会进行相应回答！来源：百度搜索资源平台 百度搜索学堂
百度各个产品使用不同的user-agent:无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video新闻搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider来源：360站长平台
为什么我的网站已经加了robots.txt，还能在百度搜索出来？因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。来源：百度搜索资源平台 百度搜索学堂
