robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optional space><value><optionalspace>"在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常
尊敬的用户： 为了更好地保护您的隐私和内容权益，百度搜索已经全新升级了robots协议。该协议将更加严格地限制搜索引擎爬取您的网站内容，以保障您的权益。 更新后的robots协议针对以下内容进行了调整： 1.增加禁止搜索引擎爬取的网页类型，如登录页、支付页、个人信息页等。 2.增加网站所有者对搜索引擎爬取的细节设置，包括最大爬取频率、爬取深度、爬取延时等。 3.优化 robots.txt
1.避免出现死链接网站设置404页面后，如果网站出现死链接，搜索引擎蜘蛛爬行这类网址得到“404”状态回应时，即知道该URL已经失效，便不再索引该网页，并向数据中心反馈将该URL表示的网页从索引数据库中删除。避免因为死链接影响网站收录。2.提升用户体验404页面通常为用户访问了网站上不存在或已删除的页面，服务器返回404错误页面，告诉浏览者其所请求的页面不存在或链接错误，同时引导用户使用网站其他页
很多时候，我们考虑把无效的URL比如：用户拼错的URL、不存在的URL重定向到别的网页。例如：网站的首页、404页面等。如何将无效的URL重定向到其他页面？在httpd.conf或.htaccess文件中使用ErrorDocument来捕获404 （找不到文件）错误：ErrorDocument 404 /index.htmlDirectoryIndex index.html /path/to/no
