Categories


Tags


如何使用Robots避免蜘蛛黑洞?

蜘蛛黑洞:

蜘蛛黑洞指的是网站通过极低的成本运营,制造出大量和内容相识但参数不同的动态URL ,像一个无限循环的“黑洞”将蜘蛛困住,蜘蛛花费太多的时间在网站,浪费了大量资源抓取的网页为无效网页。

如果你的网站存在蜘蛛黑洞现象,尽快的处理好,蜘蛛黑洞不利于网站的收录,也会影响搜索引擎对网站的评分。

如何使用Robots避免蜘蛛黑洞?

如何利用Robots避免蜘蛛黑洞操作:

普通的筛选结果页基本都是使用静态链接,比如:

http:// bj.XXXXX. com/category/zizhucan/weigongcun

当用户选择不同排序后,会自动生成带有不同参数的动态链接,即使选择是同一种排序条件,生成的参数也有不同的,比如:

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

把带有不同参数的结果排序页面使用robots规则拒绝,告知搜索引擎,让搜索引擎只抓取筛选结果页,为用户和搜索引擎节省时间。

Robots文件写法中Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址,通过这种方式,如果网站的无效页面不希望被搜索引擎收录,可以屏蔽掉低质量的页面,告诉搜索引擎哪些页面可以抓取,有效的避免黑洞的形成。

来源:搜外网


Public @ 2014-02-24 16:09:26

我设置了301跳转,多久可以生效?

我设置了301跳转,多久可以生效?答:目前百度无法承诺301跳转的生效时间,因为站长感受到的生效时间会受多因素影响,比如Baiduspider再次抓取这个页面发现其设置了301的时间、网页的重要程度以及自身质量等。来源:百度搜索资源平台 百度搜索学堂

Public @ 2019-11-23 16:09:07

URL如何优化?网站url链接形式这样去做,利于优化

URL该如何优化?方法如下:1、URL越短越好对于搜索引擎来说,只要URL不超过1000个字母,收录都没有问题。不过真地使用几百个字母的URL,用户看着费事。另外短的URL也利于传播,做链接时短的URL复制没有什么问题,长的复制也费劲,有时不能完整复制下来,容易出现404错误。2、避免太多参数尽可能地使用静态URL。如果技术上不能实现静态URL,那动态的URL必须减少参数。一般建议2~3个参数之内

Public @ 2016-11-17 16:12:00

robots.txt使用教程

用几个最常见的情况,直接举例说明:1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。2. 禁止所有SE收录网站的某些目录:User-agent: *Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/3. 禁止某个SE收录本站,例如禁止百度:User-agent: BaiduspiderDisallow: /4. 禁止所有SE收录

Public @ 2013-01-15 16:09:31

哪些网站的目录需求运用robots.txt文件制止抓取

1. 银行和金融机构的网站,因为这些网站可能包含敏感信息,例如客户的个人和财务信息。 2. 医疗保健机构的网站,因为这些网站可能包含个人医疗信息。 3. 艺术、音乐和影片网站,因为这些网站可能包含受版权法保护的内容。 4. 政府网站,特别是警察局和情报机构的网站,因为这些机构的网站可能包含安全敏感信息。 5. 搜索引擎的漏洞报告网站,因为这些网站可能敏感地显示诸如数据库配置、文件位置等敏感

Public @ 2023-06-15 06:00:13

更多您感兴趣的搜索

0.429379s