robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
发布日期：2015-05-21各位亲爱的管理员百度站长平台工具页面左侧的导航栏全新升级啦，新导航按照工具需求景场对工具做了全新划分，方便管理员根据需求选择相应的工具，同时帮助新加入百度站长平台的管理员熟悉工具的各种功能。工具新导航上线的同时，我们在社区发起了“站长工具改版了 大家来找碴，赢百度神秘礼物”有奖活动，欢迎大家找出之前文档中存在的、对于工具归类描述错误的文字和图片，帮助百度站长平台更好的
作者：百度站长平台 发布时间：2015年1月23日亲爱的网站管理员，为了能够更好的将优质权威的站点进行展示，给用户提供更直观的搜索结果，百度站长平台新增“站点子链”工具，并同步开启内测。拥有内测权限的站点可以通过该工具向百度提交网站的重要子站点\重要频道页作为子链数据。该工具目前处在内测阶段，后续还会进行功能升级，欢迎大家提交内测反馈。工具亮点
蜘蛛黑洞：蜘蛛黑洞指的是网站通过极低的成本运营，制造出大量和内容相识但参数不同的动态URL ，像一个无限循环的“黑洞”将蜘蛛困住，蜘蛛花费太多的时间在网站，浪费了大量资源抓取的网页为无效网页。如果你的网站存在蜘蛛黑洞现象，尽快的处理好，蜘蛛黑洞不利于网站的收录，也会影响搜索引擎对网站的评分。如何使用Robots避免蜘蛛黑洞？如何利用Robots避免蜘蛛黑洞操作：普通的筛选结果页基本都是使用静态链接
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...来源：360站长平台
