什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
中国网站发展概况? 2012年，PC端网站增速较大，数量较2011年增加29%；PC无线化速度加快，12年PC网站无线化比例达到40%。? 中国互联网的生态环境较差，优质站点仅占1/4，低质站点越加泛滥，对中文互联网网站的运营发展产生的负面影响已越来越严重。优质/低质网站情况? 2012年优质资源中社交网络类及商品类资源占比最高，且增速明显。? 2012年，商品供求类资源、高质量视频资源及图片资源
经过一年多的探索和沉淀，智能小程序受到越来越多开发者们的追捧，我们欣喜之余，也不免思考，源源不断的新用户进来后能不能快速从成长到成熟？是否有针对开发者成长关键路径进行系统性串联讲解？如何确保开发者对于智能小程序产品各个功能工具不仅仅只是管中窥豹？……于是，为了帮助开发者简单、快捷、高效地掌握智能小程序运营技能，提升对智能小程序全局性认知。我们历时20天，反复争论，细致打磨，终于能为开发者们带来这份
robots.txt 是一个文本文件，用于指示搜索引擎爬虫哪些页面可以被抓取，哪些页面不应该被抓取。在建立一个网站时，可以通过 robots.txt 控制搜索引擎爬虫对网站的访问，以达到更好的SEO效果。以下是robots.txt的使用教程。 步骤1：新建 robots.txt 文件 在网站的根目录下，新建一个名为 robots.txt 的文本文件。 步骤2：编辑 robots.txt 文件
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...来源：360站长平台
