robots.txt文件的格式为： User-agent: [user-agent-name] Disallow: [URL path] 其中，[user-agent-name]指代搜索引擎爬虫的名称，[URL path]指代禁止访问的URL路径。在文件中可以定义多条User-agent和Disallow规则，每一条规则占一行，每一对规则之间要有一个空行。示例： User-agent: * Disallow: /private/ Disallow: /secret/ User-agent: Baiduspider Disallow: /admin/ User-agent: Googlebot Disallow: /tmp/
这篇写于2006年的贴子，在网上已经被抄得四处都是了，恐怕新入行的SEO已经很难知道原出处是这里了。网站结构的优化是搭建网站时第一个要考虑的，对SEO有重大影响。网站结构出问题，权重无法正常流动，搜索引擎将无法顺利抓取页面，也就谈不上排名和流量了。优化网站结构有两方面的意思，一是物理结构，二是逻辑结构。网站的物理结构网站物理结构指的是网站真实的目录及文件所存储的位置所决定的结构。一般来说比较好的物
robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。来源：360站
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的 <HEAD> 部分:<meta name="robots" content="noarchive">要允许其他搜索引擎显示快照，但仅防止搜索引擎显示，请使用以下标记:<meta name="Baiduspider" content="noa
