百度Sitemap协议支持提交收录网页列表以及死链列表。
收录网页列表用于指引百度搜索引擎快速、全面的抓取网站上内容。您可以使用XML格式、文本格式以及Sitemap索引文件提交。
死链列表用于提交您网站上被删除或者权限发生变动的网页列表，指引百度搜索引擎快速屏蔽这些网页。
死链列表目前只能使用文本格式在百度站长平台提交。
Sitemap文件的包含范围以主域为单位。
如果您验证了 http://www.example.com/这个网站，那么Sitemap文件中可以包含http://www.example.com/、http://example.com/、http://bbs.example.com/等所有example.com主域下站点中的网址。
用几个最常见的情况，直接举例说明：1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。2. 禁止所有SE收录网站的某些目录：User-agent: *Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/3. 禁止某个SE收录本站，例如禁止百度：User-agent: BaiduspiderDisallow: /4. 禁止所有SE收录
404页面的目的是：告诉浏览者其所请求的页面不存在或链接错误，同时引导用户使用网站其他页面而不是关闭窗口离开。很多开源系统如CMS系统、Blog系统等不提供404页面或提供的404页面并未达到SEO的要求，这让网站的权威性大打折扣。404页面该达到怎么样的效果才符合SEO要求？搜索引擎通过HTTP状态码来识别网页的状态。当搜索引擎获得了一个错误链接时，网站应该返回404状态码，告诉搜索引擎放弃对该
站点地图是一个网站所有链接的容器。很多网站的连接层次比较深，爬虫很难抓取到，站点地图可以方便爬虫抓取网站页面，通过抓取网站页面，清晰了解网站的架构，网站地图一般存放在根目录下并命名sitemap，为爬虫指路，增加网站重要内容页面的收录。站点地图就是根据网站的结构、框架、内容，生成的导航网页文件。站点地图对于提高用户体验有好处，它们为网站访问者指明方向，并帮助迷失的访问者找到他们想看的页面。站点地图
ETag（Entity Tag）是HTTP协议中的一个头部字段，用于标识资源的某个版本。 ETag的作用主要有以下几点： 1. 缓存控制：当客户端请求一个资源时，服务器可以通过ETag来判断资源是否发生了变化。如果ETag与客户端提供的If-None-Match头字段一致，说明资源没有发生变化，服务器可以返回一个304 Not Modified状态码，告诉客户端可以使用本地缓存的副本，从而节省带
