robots.txt文件的格式为： User-agent: [user-agent-name] Disallow: [URL path] 其中，[user-agent-name]指代搜索引擎爬虫的名称，[URL path]指代禁止访问的URL路径。在文件中可以定义多条User-agent和Disallow规则，每一条规则占一行，每一对规则之间要有一个空行。示例： User-agent: * Disallow: /private/ Disallow: /secret/ User-agent: Baiduspider Disallow: /admin/ User-agent: Googlebot Disallow: /tmp/
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL, or NL作为结束符)，每一条记录的格式如下所示:"<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
绝对路径的优点是：1.网站有RSS输出时，内容会被一些Feed聚合网站抓取显示。同样，页面里指向原网站的链接会被保留。2.如果有人抄袭、采集你的文章，抄袭者比较懒，连页面里面的链接一起原封不动抄过去，绝对路径链接还会指向你的网站，增加网站外链权重。3.就算网页移动位置，里面链接还是指向正确URL。4.有助于预防和解决网址规范化问题。绝对路径的缺点是：1.代码比较多。2.除非链接是动态插入的，不然不
Robots.txt文件应放在网站的根目录下。
robots.txt文件是一个文本文件，用于向搜索引擎和其他机器人网站爬虫指定哪些页面或内容可以被爬取，哪些页面或内容不能被爬取。它的主要作用是为了控制搜索引擎和其他机器人网站爬虫访问和抓取网站内容，保护网站的隐私和安全。如果一个网站不想被某些搜索引擎或爬虫访问、爬取和索引，就可以通过robots.txt文件来禁止它们。另外，robots.txt文件还可以防止一些机器人抓取出现线上攻击或滥用等安全
