robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
根据2013年发布的中国网站运营发展趋势报告，中国低质网站泛滥的问题已经非常突出。这些低质网站往往不具备良好的内容质量、用户体验等，从而严重危害了整个互联网生态环境。 报告指出，这种现象主要是由于某些不良网站运营商存在重利益驱动，忽视了网站质量的建设，只关注流量和收入的提升，导致大量低质网站涌现出来。同时，一些投资机构和广告代理商也对低质网站投入大量资源，使得这些网站得以存活和扩展规模。 报告
尊敬的站长平台VIP俱乐部会员： 大家好！ 为了帮助广大站长平台VIP俱乐部会员更方便实用地使用站长平台VIP俱乐部服务，我们在今天对站长平台VIP俱乐部服务页面做了一些界面优化： 1. 增加了页面上关于各种应用软件的icon，用于一目了然地提醒会员此软件的作用，方便会员使用； 2. 统一了页面上所有的常用图标，使会员使用更加便捷，页面更加简洁； 3. 增加了页面帮助信息，更加清楚地
| 什么是robots文件？Robots是站点与spider沟通的重要渠道，是网站与搜索引擎爬虫之间的协议，告知哪些可抓取哪些不允许。| 为什么要做robots文件？网站上总有一些页面是禁止蜘蛛抓取的。例如：搜索页面、筛选页面、后台登录地址等。| 如何制作 robots文件？编写robots.txt文件并上传到网站根目录。| 制作 robots.txt注意事项● 所有搜索引擎则用星号表示● All
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
