360搜索根据站长们的反馈，会陆续推出扩展的Robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率，减少站长们维护Robots协议文件的技术成本。360搜索首个扩展命令是：indexpage，站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法，智能调整爬虫抓取频率，实现对您网站新内容的更高频率抓取。在命令中可以使用*、$等通配符。示例：
尊敬的用户： 为了更好地保护您的隐私和内容权益，百度搜索已经全新升级了robots协议。该协议将更加严格地限制搜索引擎爬取您的网站内容，以保障您的权益。 更新后的robots协议针对以下内容进行了调整： 1.增加禁止搜索引擎爬取的网页类型，如登录页、支付页、个人信息页等。 2.增加网站所有者对搜索引擎爬取的细节设置，包括最大爬取频率、爬取深度、爬取延时等。 3.优化 robots.txt
一、死链介绍什么是死链几乎所有的智能小程序或站点都会遇到内容失效、过期，页面不需要再展现的情况，这些无法对用户提供任何有价值信息的页面就是死链接，它包括协议死链和内容死链两种形式。为什么要及时处理死链？当站点/小程序死链数据累积过多并且被展示到搜索结果页时，会影响百度搜索对站点/小程序的评价，对站点/小程序的访问体验和用户转化都会起到负面影响。另一方面，百度检查死链的流程也会为站点/小程序带来额外
假设您的网站是www.abc.com，第三方网站是www.example.com。内链死链：在您网站上发现同一个域名内的死链，即：如果在http://www.abc.com/1.html上发现了一条死链http://www.abc.com/2.html，那么我们称http://www.abc.com/2.html为内链死链；链出死链：在您网站上发现的链接到其他网站的死链，即：如果在http://w
