robots.txt文件的格式为： User-agent: [user-agent-name] Disallow: [URL path] 其中，[user-agent-name]指代搜索引擎爬虫的名称，[URL path]指代禁止访问的URL路径。在文件中可以定义多条User-agent和Disallow规则，每一条规则占一行，每一对规则之间要有一个空行。示例： User-agent: * Disallow: /private/ Disallow: /secret/ User-agent: Baiduspider Disallow: /admin/ User-agent: Googlebot Disallow: /tmp/
操作步骤： 1. 确定需要重定向的URL，例如http://www.oldwebsite.com/oldpage.html。 2. 在网站的控制面板中找到网站设置或更改网站选项。 3. 在重定向设置选项中选择301重定向。 4. 输入旧URL，例如http://www.oldwebsite.com/oldpage.html，并指定新URL，例如http://www.newwebsite.c
网站导航指什么？一般情况下，网站的栏目、文章分类、“您当前位置”等称为网站导航。比如 www.seowhy.com 这个网站的网站导航指：左侧文章分类、顶部功能分类、以及每篇文章的类别说明。网站导航的目的：告诉浏览者网站的主要内容和功能。告诉浏览者他们所在网站的位置。告诉浏览者他们访问过的页面。本站访问过的页面，链接变为紫色。网站导航如何SEO优化？在页脚添加一行关键词，并指向相应的页面。比如本站
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
误区一:我的网站上的所有文件都需要蜘蛛抓取，那我就没必要在添加robots.txt文件了。反正如果该文件不存在，所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该做网站中添加一个robots.txt
