控制页面的抓取、索引是SEO优化网站结构时经常需要用到的技术。常见的工具包括：robots文件页面的noindex标签链接的nofollow属性页面的301转向页面的canonical标签等这几个工具各有各的特定应用场景，但都是用于控制网站内部结构，之间容易混淆，还经常需要配合使用，SEO们必须准确理解这几个工具的机制和原理，不然很容易出错。这篇贴子讨论robots文件。Robots文件的作用ro
robots是什么robots是网站跟蜘蛛间的协议，当访问站点时，它首先检查机器人是否存在于站点的根目录中。如果找到，蜘蛛就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。一定要注意txt文件必须放在站点的根目录中，文件名必须为小写。robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定
sitemap数据提交后，一般在1小时内会被百度处理。处理完成的时间视文件大小而定。
robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optional space><value><optionalspace>"在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常
内链：顾名思意就是在自己网站的内容中的相关文字加入链接，并且链接到网站内部的相关页面。合理的网站内空链接构造，能提高搜索引擎的收录与网站权重。相对外部链接，内部链接也很重要。传统方式以前我们做文章系统或新闻发布系统的时候，做文章内链（标签）的时候，通常是通过以下方式来实现的：数据库：article（文章表）字段（id， title， body， adddate， userid），keyword（内
不会。Sitemap 中的“priority”提示只是说明该网址相对于您自己网站上其他网址的重要性，并不会影响网页在搜索结果中的排名。
什么是Nofollow？我们知道，反向链接是Google PR值的主要计算指标。为了添加反向链接，SEO作弊者在论坛和博客等大量发布带无关链接的内容。这些垃圾链接的存在给搜索引擎对网页质量的评估造成一定程度的麻烦。Nofollow 正是Google、Yahoo、MSN 为了应对垃圾链接（Spam）引入的一个属性，此属性目前应该被广泛采用。如果A网页上有一个链接指向B网页，但A网页给这个链接加上了
网站上有些页面不希望被搜索引擎收录，我们可以使用robots的文件或者meta robots 标签。什么是meta robots 标签？meta robots 标签是页面head部分meta标签的一种，用于指令搜索引擎禁止索引（收录）本页内容。meta robots 标签的写法：<meta name=”robots”content=”noindex,nofollow”>标签的意义：禁止
在做域名解析时，应该设置一个不带www的域名。这样，当用户使用不带www的域名时，可以正常访问你的网站。做SEO时需要正确处理带www和不带www域名的关系：我们讲过URL标准化的概念，在搜索引擎看来，带www和不带www的URL是不同的两个URL，当它们指向同一个网站时，会让搜索引擎不懂应该选择哪一个URL作为主要的。所以，我们建议部分符合条件的主机采用301重定向进行URL标准化设置。如果你的