1、在网站地图的文本和超级链接里提及最主要的关键词短语，帮助搜索引擎来识别所链接的页面主题是什么。
2、为每一个链接提供一个简短的介绍，以提示访问者这部分内容是关于哪方面的。
3、提供文本链接到你站点上最主要的页面上；根据您的网站大小，网页数目的多少，甚至可以链接到所有的页面。
4、为搜索引擎提供一条绿色通道，使搜索引擎程序把主要网页迅速收录进去。
5、当用户查寻网站上原来看过的相关信息时，告诉他们如何去查询。只要在这一个网页内就可以得到所有希望查找的内容链接。
6、帮助搜索引擎轻松索引一些动态页面。由于一些页面将是动态产生，如果不是用户行为调用，将不会显示出来，可以将此链接放在您的网站地图上，以帮助搜索引擎来索引重要的动态页面。
支持XML格式和TXT文本格式。
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL, or NL作为结束符)，每一条记录的格式如下所示:"<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
一、ETag简介ETag(EntityTags)是URL的tag，用来标示URL对象是否改变，这样可利用客户端（例如浏览器）的缓存。由服务器首先产生ETag，客户端通过将该记号传回服务器要求服务器验证其（客户端）缓存。服务器使用它来判断页面是否已经被修改，如果未修改返回304，而不必重新传输整个对象。二、现在站点Sitemap存在的问题1.发现更新不及时当站点或其Sitemap发生更新时，百度难以
有关ETag的简介：ETag是URL的TAG，主要是标志URL对象有没发生改变，用于客户端的缓存。服务器产生ETag，并在HTTP响应头中将其传送到客户端，服务器用它来判断页面是否被修改过，如果未修改返回304，无需传输整个对象。HTTP协议里ETag是“被请求变量的实体值”。站点启用ETag的好处有哪些？1、Sitemap启用ETag后，百度就可以快速的知道Sitemap的更新，在内容没有做更改
