建议将 Sitemap 放在 HTML 服务器的根目录中，即 http://www.example.com/sitemap.xml。
某些情况下，例如您公司网站允许对应不同的目录划分写入权限，这时您或许希望在网站上针对不同的路径创建不同的 Sitemap。
如果您有上传到 “http://www.example.com/路径/sitemap.xml” 的权限，那么您可以针对 “http://www.example.com/路径/” 创建不同的sitemap 。
1. 下面是一个拒绝所有机器人访问的robots.txt： ``` User-agent: * Disallow: / ``` 2. 下面的robots.txt用于阻止百度搜索引擎访问整个站点： ``` User-agent: Baiduspider Disallow: / ``` 3. 下面的robots.txt文件用于阻止所有搜索引擎访问以private开头的任何URL： ```
1. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录--保证服务器性能。比如:大多数网站服务器都有程序储存在"cgi-bin"目录下，因此在ro
通常情况下，sitemap提交后，百度会在1-2天内进行抓取。但具体时间也受到网站规模、更新频率、抓取限制等因素的影响。如果长期未被抓取，可以检查一下sitemap是否存在问题，并通过百度站长平台的工具进行排查。
ETag（Entity Tag）是HTTP协议中的一个头部字段，用于标识资源的某个版本。 ETag的作用主要有以下几点： 1. 缓存控制：当客户端请求一个资源时，服务器可以通过ETag来判断资源是否发生了变化。如果ETag与客户端提供的If-None-Match头字段一致，说明资源没有发生变化，服务器可以返回一个304 Not Modified状态码，告诉客户端可以使用本地缓存的副本，从而节省带
