专注数字产品开发
将创新和需求转化为专业的数字化解决方案

帮助企业在不断变化的数字环境中脱颖而出
©2023 Copyright reserverd

威海佰年网络技术有限公司 首页知识库

  • 搜索引擎网页去重算法分析

    发布:2020-07-15 seozixuewang.com
  • 相关统计数据表明:互联网上近似重复的网页的数量占网页总数量的比例高达29%,完全相同的网页大约占网页总数量的22%.研究表明,在一个大型的信息采集系统中,30%的网页是和另外70%的网页完全重复或近似重复的。

    即:互联网的网页中相当高的比例的网页内容是近似相同或完全相同的!

    搜索爬虫抓取会产生网页重复的类型:

    1.多个URL地址指向同一网页以及镜像站点

    如:www.sina.com 和www.sina.com.cn

    指向同一个站点。

    2. 网页内容重复或近似重复

    如抄袭、转摘的内容,垃圾信息等

    网页内容近似重复检测的两种应用场合:

    一:在用户搜索阶段

    目标是根据与用户给定的查询词找到已有索引列表中近似重复的文档,并排序输出。

    二:爬虫抓取发现阶段

    对一个新的网页,爬虫程序通过网页去重算法,最终决定是否对其索引。

    搜索引擎网页去重算法分析 搜索引擎 好文分享 第1张

    搜索引擎架构

    近似重复网页类型,根据文章内容和网页布局格式的组合分为4种形式:

    一:两篇文档在内容和布局格式上毫无区别,则这种重复称为完全重复页面。

    二:两篇文档内容相同,但布局格式不同,则这种重复称为内容重复页面。

    三:两篇文档有部分重要的内容相同,并且布局格式相同,则这种重复称为布局重复页面。

    四:两篇文档有部分重要内容相同,但布局格式不同,则这种重复称为部分重复页面。

    重复网页对搜索引擎的不利影响:

    正常情况下,非常相似的网页内容不能或只能给用户提供少量的新信息,但在对爬虫进行抓取、索引和用户搜索 会消耗大量的服务器资源。

    重复网页对搜索引擎的好处:

    如果某个网页重复性很高,往往是其内容比较比较受欢迎的一种体现,也预示着该网页相对比较重要。应予以优先收录。当用户搜索时,在输出结果排序时,也应给与较高的权重。

    重复文档的处理方式:

    1.删除

    2.将重复文档分组

    近似重复网页举例:

    搜索引擎网页去重算法分析 搜索引擎 好文分享 第2张

    搜索引擎网页去重算法分析 搜索引擎 好文分享 第3张

    近似重复网页举例

    搜索引擎近似重复检测流程:

    搜索引擎网页去重算法分析 搜索引擎 好文分享 第4张

    搜索引擎近似重复检测流程

    通用网页去重算法框架:

    搜索引擎网页去重算法分析 搜索引擎 好文分享 第5张

    通用网页去重框架

    SimHash文档指纹计算方法

    搜索引擎网页去重算法分析 搜索引擎 好文分享 第6张

    SimHash文档指纹计算方法

    说明:

    1)从文档中提取具有权值的 特征集合来表示文档。如:假设特征都是由词组成的,词的权值由词频TF 来确定。

    2)对每一个词,通过哈希算法生成N位(通常情况是64位或更多)的二进制数值,如上图,以生成8位的二进制值为例。每个词都对应各自不同的二进制值。

    3)在N维(上图为8维)的向量V中,分别对每维向量进行计算。如果词相应的比特位的二进制数值为1,则对其特征权值进行加法运算;如果比特位数值为0,则进行减法运算,通过这种方式对向量进行更新。

    4)当所有的词都按照上述处理完毕后,如果向量V中第i维是正数,则将N位的指纹中第i位设置为1,否则为0。

    Jacccard相似性计算方法:

    搜索引擎网页去重算法分析 搜索引擎 好文分享 第7张

    Jacccard相似性计算方法

    如上图,A和B代表2个集合,集合C代表集合A和B相同的部分。 A集合包含5个元素,B集合包含4个元素,而两者相同的元素有2个,即集合C的大小是2. Jaccard计算两个集合相同的元素占总元素的比例。

    如图中,集合A和集合B共有7个不同的元素,相同元素个数2个,所以集合A和集合B的相似性为:2/7

    在实际应用中,集合A 和 集合B 的特征都会经过哈希计算,转化成N位(64位甚至更多)的二进制数值,从而将集合A和B的相似性比较转化为二进制数值的比较,称为“海明距离”的比较。两个位数相同(如均为64位)相同位置上不同的二进制数值的个数称为“海明距离”。

    对给定的文档A,假设经过特征抽取–哈希指纹运算后的二进制数值是:1 0 0 0 0 0 1 0

    对给定的文档B, 假设经过特征抽取—哈希指纹运算后的二进制数值是:0 0 1 0 0 0 0 1

    经过比较,文档A 和 B的 第1位、第3位、第7位、第8位四个位置的数值不同,即海明距离为4. 两个文档的二进制位数不同的个数越多,海明距离越大。海明距离越大,说明两个文档不相似性越大,反之,则越小。

    不同搜索引擎可能会以不同的海明距离值 来判断两个网页内容是否近似重复。相关分析认为,一般情况下,对一个64位的二进制数值来说,将海明距离<=3作为判断是否近似重复的标准比较合理.

    作者:AlbertTan

    来源:卢松松博客


    seozixuewang




    手机扫码阅读

    更多资讯

    专业的技术驱动型网络技术公司,公司成立于2009年,12年专注数字产品开发,用创新迎合客户不断增长的需求,为客户提供专业的数字化解决方案, 为企业和品牌在不断变化的数字化环境中脱颖而出。

    威海网站建设, 威海微信公众号开发, 威海企业邮箱, 威海行业网站, 威海系统开发, 威海软件开发, 威海APP开发, 威海域名注册, 威海商标查询, 威海商标注册, 威海商标设计, 威海知识产权代理, 威海房产销控系统, 威海缺陷跟踪系统, 威海企业云/私有云解决方案, 威海企业邮局

    合作企业 COOPERATOR

    沐兮知识产权代理有限公司

    商标查询, 商标注册, 软件著作权申请, 商标续展, 知识产权代理
    撤三业务, 商标类法律文书咨询业务, 商标业务咨询

    阿里云

    域名注册, 企业邮局/邮箱注册, ECS, 香港主机, 海外主机

    联系我们 CONTACT

    山东 . 威海 青岛中路87 阿里巴巴四十大道 A1512号
    SERVICE@BRILINE.NET
    设计、建站、邮箱、主机、改版、维护
    开发、数据维护、私有云、服务器
    商标注册、变更、复审、答辩、续展、备案
      周一 - 周五 13385420936
    0.063572s