通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图：
image.
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。
在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
参考搜外的robots.txt文件写法，点击这里
来源：搜外网
大家都知道外部链接对网站排名的重要性，同时也建议不要忽略了站内链接的作用。外部链接大部分情况下是不好控制的，而且要经过很长时间的积累，内部链接却完全在自己的控制之下，是SEO手中可优化的重点内容之一。下面列几个优化站内链接的技巧和经验。建立网站地图稍有规模的网站，比如几百页以上，只要有可能，最好给网站建一个完整的网站地图sitemap。同时把网站地图的链接放在首页上，使搜索引擎能很方便的发现和抓取
网站的301重定向是很多程序员都知道的一种网页跳转技术，作为站长，相信对于301跳转的作用理解的更加透彻，网站301对于SEO优化的作用也是非常大的，那么在网站SEO优化中301跳转怎么才能用好呢？今天聚名网就来跟大家介绍一下吧！301重定向是一种很是重要的“自动转向”技术。网址重定向最为可行的一种法子。当用户或搜索引擎向网站处事器公布揭晓阅读哀告时，处事器返回的HTTP数据流中头信息(heade
匹配方式分两部分：1.path部分，2.参数部分匹配支持?*$?两种通配符?*? 表示任何有效字符的 0 个或多个个案。?$? 表示网址结束。path部分与google匹配方式保持一致，也就是只有/或是*开头的规则才有机会匹配上?/?匹配根目录以及任何下级网址?/fish??/fish?开头的匹配项* ?/fish?* ?/fish.html?* ?/fish/salmon.html?* ?/fi
个人信息一旦在网上发布，很有可能会被百度搜索引擎抓取，特别是在知名社交网站、专业网站上发布的内容。可能您并不希望这类个人信息出现在百度搜索结果中，以下方式可以帮助您阻止个人信息在搜索结果中出现。如果您是在其他网站上发布的内容：1、在社交网站中（例如人人网，开心网等），您可以针对个人信息设置浏览权限，例如只有朋友或者自己可以浏览；如果您不愿让陌生人看到某些照片或信息，则应该慎重考虑是否公开发布这些内
