robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optional space><value><optionalspace>"在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常
[ SQL ] SELECT * FROM `ob_article` WHERE `category_id` = 12 AND `tags` = '威海canonical' AND `status` <> -1 ORDER BY rand() LIMIT 0,2 [ RunTime:0.031000s ]
通过Canonical标签解决重复内容收录
Canonical标签是指在网页的HTML代码中添加一个链接指向该页面的主要版本，当页面有多个URL时，通过Canonical标签告诉搜索引擎哪个是主要版本，从而避免重复内容被收录。 例如，在网站中有一篇文章，URL分别是： http://www.example.com/article http://www.example.com/articles/123 http://www.example.com/articles/123/this-is-a-title 这三个URL都指向同一篇文章，但是搜索引擎会认为这是三个独立的页面，如果不采用Canonical标签，搜索引擎会将这三个URL都收录，导致重复内容问题。通过在HTML代码中添加一个指向主要版本的Canonical链接，搜索引擎会优先收录主要版本，从而避免了重复内容的问题。 Canonical标签的语法格式为： 其中，href属性指向主要版本的URL。在一般情况下，Canonical标签应该放在网页的头部，即head标签中。
