robots.txt文件的格式为： User-agent: [user-agent-name] Disallow: [URL path] 其中，[user-agent-name]指代搜索引擎爬虫的名称，[URL path]指代禁止访问的URL路径。在文件中可以定义多条User-agent和Disallow规则，每一条规则占一行，每一对规则之间要有一个空行。示例： User-agent: * Disallow: /private/ Disallow: /secret/ User-agent: Baiduspider Disallow: /admin/ User-agent: Googlebot Disallow: /tmp/
原文地址：子域名和子目录作者：Matt Cutts Google反垃圾网站组的带头人在 PubCon 会议即将闭幕的时候，我注意到很多文章在讨论 Google 对子域名和子目录的处理办法。我想在这里更详细探讨这个话题，以把我的观点表达清楚。从历史上看，子域名和子目录几乎是同一时间开始使用的。顺便提示一下，你可以从这个例子：subdomain.example.com/subdirecto
在windows主机上设置的方法可以在IIS服务器上设置也可以在代码中设置。1、在IIS服务器上设置301的方法这种设置方法需要有一个先天条件，那就是你有服务器的管理权，你可以直接操作IIS服务器，并且可以随意开通新的虚拟主机，否则你只能用修改网站代码的方法。首先开通一个新的虚拟主机，将你需要做301永久重定向的域名正常与该空间绑定，这个绑定的方法你可以咨询服务器托管商。然后打开“控制面板”→找到
Robots META标签中没有大小写之分，name="Robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow，指令间以","分隔。INDEX 指令告诉搜索机器人抓取该页面;FOLLOW 指令表示搜索
robots.txt文件是一个文本文件，用于向搜索引擎和其他机器人网站爬虫指定哪些页面或内容可以被爬取，哪些页面或内容不能被爬取。它的主要作用是为了控制搜索引擎和其他机器人网站爬虫访问和抓取网站内容，保护网站的隐私和安全。如果一个网站不想被某些搜索引擎或爬虫访问、爬取和索引，就可以通过robots.txt文件来禁止它们。另外，robots.txt文件还可以防止一些机器人抓取出现线上攻击或滥用等安全
