Robots.txt 是一个网站管理员可通过在站点根目录中放置一个名为robots.txt的文件来让搜索引擎（及其爬虫）知道该如何来收录并处理某些目录或页面，并使索引过程更加有效更加规范。 Robots.txt 的作用是向搜索引擎解释网站中哪些目录和文件希望被搜索引擎收录、哪些不希望收录，以避免搜索引擎抓取到网站误差的内容。如果 robots.txt 被恰当地设置，可以有效提高收录质量和网站索引效率，从而表现出良好的搜索引擎优化效果。
404页面是客户端在浏览网页时，服务器无法正常提供信息，或是服务器无法回应，且不知道原因所返回的页面。据说在第三次科技革命之前，互联网的形态就是一个大型的中央数据库，这个数据库就设置在404房间里面。那时候所有的请求都是由人工手动完成的，如果在数据库中没有找到请求者所需要的文件，或者由于请求者写错了文件编号，用户就会得到一个返回信息：room 404 : file not found。404错误信
一、ETag简介ETag(EntityTags)是URL的tag，用来标示URL对象是否改变，这样可利用客户端（例如浏览器）的缓存。由服务器首先产生ETag，客户端通过将该记号传回服务器要求服务器验证其（客户端）缓存。服务器使用它来判断页面是否已经被修改，如果未修改返回304，而不必重新传输整个对象。二、现在站点Sitemap存在的问题1.发现更新不及时当站点或其Sitemap发生更新时，百度难以
匹配方式分两部分：1.path部分，2.参数部分匹配支持?*$?两种通配符?*? 表示任何有效字符的 0 个或多个个案。?$? 表示网址结束。path部分与google匹配方式保持一致，也就是只有/或是*开头的规则才有机会匹配上?/?匹配根目录以及任何下级网址?/fish??/fish?开头的匹配项* ?/fish?* ?/fish.html?* ?/fish/salmon.html?* ?/fi
1. 不需要在每个页面都添加robots.txt文件：robots.txt文件只是一份给搜索引擎看的指令，如果不希望搜索引擎从该页面抓取数据，那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备：robots.txt文件可用于搜索引擎爬虫，但也可以在部分机型的移动设备上进行yu处理，可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用
