通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图：
image.
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。
在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
参考搜外的robots.txt文件写法，点击这里
来源：搜外网
数据库驱动的网站需要将URL静态化，一直以来都是SEO最基本的要求，可以算是个常识性的东西。现在恐怕也没有不是数据库驱动的网站了吧。近几年SEO行业一致认为，URL中带2-3个问号不是问题，搜索引擎通常都能收录，尤其是权重高点的域名，更多几个问号也不是问题。但无论如何一般还是建议URL静态化。2008年9月份，Google站长博客发表了一篇讨论动态网址还是静态网址的帖子，却颠覆了这个说法。在这篇帖
Canonical标签是用于指定网页主要内容的URL地址。它是一种标记语言标签，通过这个标签，可以告诉搜索引擎要把多个类似内容的页面合并成一个主要内容相同的页面，减少搜索引擎对同一内容的多个页面进行索引，避免重复内容的出现。通过设置Canonical标签，可以提高网站的SEO效果，降低网站被搜索引擎降权的风险。同时，Canonical标签也有利于网站内部链接的优化，提高网页被搜索引擎收录的几率。
通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。搜外网站后台日志分析结果如下图：image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。在robots.txt文件填写屏蔽规则如下：Disallow: /*.asp$Disallow: /*.php$Disallo
百度各个产品使用不同的user-agent：无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video新闻搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider
