通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图：
image.
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。
在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
参考搜外的robots.txt文件写法，点击这里
来源：搜外网
如果网站中有不同的url能访问到同一个页面，那么从网站seo优化的角度来看，是有问题的。不同的网址都可以访问同样内容的页面，会给有可能引起搜索引擎的误判。Canonical标签的出现，就是来解决这一问题的。什么是canonical标签canonical标签是在html网页中head头部标签中link标签的一种属性;最早由谷歌搜索引擎提出，目的是为了解决网址规范性问题。简单来说就是当网页中有多个网址
在.htaccess文件中添加以下代码： RewriteEngine On RewriteCond %{HTTP_HOST} !^www\. RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [R=301,L] 这段代码的作用是：首先打开Apache的重写引擎；然后检查HTTP_HOST是否已经是以"www."开头，如果不是，则执行下一行代码；最后执行
在今日头条中，根据用户输入的关键字进行搜索，系统针对关键字进行多维度搜索，内容形成聚合后，统一展示给用户。同时，今日头条采用了多种Robot来爬取和抓取用户的相关关键字，然后精确的匹配给用户，技术上主要是Robot学习算法，和文本分析算法。 Robot算法主要是爬取网站上的关键字，并根据搜索词语进行匹配。Robot算法还可以根据语义分析算法来进行分析和匹配，优化搜索效果。Robot算法也可以
robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
