Categories


Tags


巧用Robots避免蜘蛛黑洞

对于百度搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。

比如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜索引擎大量抓取,而这其中很大一部分检索价值不高,如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配额。那么该如何避免这种情况呢?

我们以北京某团购网站为例,看看该网站是如何利用robots巧妙避免这种蜘蛛黑洞的:

对于普通的筛选结果页,该网站选择使用静态链接,如:http://bj.XXXXX.com/category/zizhucan/weigongcun

同样是条件筛选结果页,当用户选择不同排序条件后,会生成带有不同参数的动态链接,而且即使是同一种排序条件(如:都是按销量降序排列),生成的参数也都是不同的。如:http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

对于该团购网来说,只让搜索引擎抓取筛选结果页就可以了,而各种带参数的结果排序页面则通过robots规则拒绝提供给搜索引擎。

robots.txt的文件用法中有这样一条规则:Disallow: /*?* ,即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式,对Baiduspider优先展示高质量页面、屏蔽了低质量页面,为Baiduspider提供了更友好的网站结构,避免了黑洞的形成。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2020-05-11 16:08:55

301重定向的意义你是否真的了解?能正确运用301重定向?

一、301重定向的作用301重定向的作用有很多,平时站长在做301重定向的时候「网站优化」网站优化宝典之301重定向,你真的会用吗?①是为了URL规范化并集中权重不让权重分散;②是为了网站改版,将旧版本的页面的所有指标全部转移到新版本的页面上;③而实施301重定向可以做到这些,在作用上也是非常的强大;二、在什么情况下必须做301重定向「网站优化」网站优化宝典之301重定向,你真的会用吗?以下七种情

Public @ 2019-08-11 16:09:39

怎么做301转向

1. 在服务器上配置:打开网站的服务器配置文件,添加301重定向规则,将旧的URL重定向到新的URL。具体方法根据不同的服务器而有所不同,需要咨询服务器管理员。 2. 使用重定向插件:如果网站使用的是WordPress等CMS系统,可以安装并启用重定向插件,然后在插件设置中添加301重定向规则。 3. 使用.htaccess文件:打开网站根目录下的.htaccess文件,并添加301重定向规则

Public @ 2023-06-25 02:50:10

robots

robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。来源:360站

Public @ 2014-01-16 16:09:19

更多您感兴趣的搜索

0.412605s