Categories


Tags


搜索引擎检索系统概述

前面简要介绍过了搜索引擎的索引系统,实际上在建立倒排索引的最后还需要有一个入库写库的过程,而为了提高效率这个过程还需要将全部term以及偏移量保存在文件头部,并且对数据进行压缩,这涉及到的过于技术化在此就不多提了。今天简要给大家介绍一下索引之后的检索系统。

检索系统主要包含了五个部分,如下图所示:

索引&检索.jpg

(1)Query串切词分词即将用户的查询词进行分词,对之后的查询做准备,以“10号线地铁故障”为例,可能的分词如下(同义词问题暂时略过):

10 0x123abc

号 0x13445d

线 0x234d

地铁 0x145cf

故障 0x354df

(2)查出含每个term的文档集合,即找出待选集合,如下:

0x123abc 1 2 3 4 7 9…..

0x13445d 2 5 8 9 10 11……

……

……

(3)求交,上述求交,文档2和文档9可能是我们需要找的,整个求交过程实际上关系着整个系统的性能,这里面包含了使用缓存等等手段进行性能优化;

(4)各种过滤,举例可能包含过滤掉死链、重复数据、色情、垃圾结果以及你懂的;

(5)最终排序,将最能满足用户需求的结果排序在最前,可能包括的有用信息如:网站的整体评价、网页质量、内容质量、资源质量、匹配程度、分散度、时效性等等,之后会详细给大家介绍。

如果大家对搜索引擎检索还有别的疑问,大家可以到[学堂同学汇][学习讨论]《搜索引擎检索系统概述》讨论帖中发表自己的看法,我们的工作人员会关注这里并与大家进行探讨。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2011-11-07 16:21:49

搜索引擎抓取系统概述(一)

编者按:站长朋友们,今后定期都将在这里跟大家分享一些有关搜索引擎工作原理及网站运营相关的内容,今天先简单介绍一下关于搜索引擎抓取系统中有关抓取系统基本框架、抓取中涉及的网络协议、抓取的基本过程三部分。互联网信息爆发式增长,如何有效的获取并利用这些信息是搜索引擎工作中的首要环节。数据抓取系统作为整个搜索系统中的上游,主要负责互联网信息的搜集、保存、更新环节,它像蜘蛛一样在网络间爬来爬去,因此通常会被

Public @ 2014-01-21 16:12:36

搜索引擎工作原理

基本流程抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫(Spider)。爬虫顺着网页中的超链接,从这个网站爬到另一个网站,通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍,理论上,从一定范围的网页出发,就能搜集到绝大多数的网页。处理网页。搜索引擎抓到网页后,还要做大量的预处理工作,才能提供检索服务。其中,最重要的就是提取关键词,建立索引库和索

Public @ 2015-11-08 16:21:49

数据分析:如何追踪访客初始来源

了解网站的运营情况、了解用户构成是保证网站健康持续发展的重要基础,所以看数据做分析是网站优化人员每日必做的工作。上周平台发布了《网站分析白皮书(站长版)》,本周小编又发现了一篇非常好的实战型文章《在Google Analytics中如何跟踪访客的初始来源》,作者马骏是已获得GOOGLE Analytics IQ认证的网站访客行为分析师,得知平台要转载此文章后很贴心地将原文中的英文内容都做成了中文的

Public @ 2020-09-06 16:21:48

搜索引擎体系结构

搜索引擎基本结构一般包括:搜索器、索引器、检索器、用户接口等四个功能模块。1、搜索器:搜索器也叫网络蜘蛛,是搜索引擎用来爬行和抓取网页的一个自动程序,在系统后台不停歇地在互联网各个节点爬行,在爬行过程中尽可能快的发现和抓取网页。2、索引器。它的主要功能是理解搜索器所采集的网页信息,并从中抽取索引项。3、检索器。其功能是快速查找文档,进行文档与查询的相关度评价,对要输出的结果进行排序。4、用户接口。

Public @ 2018-03-04 16:22:54

更多您感兴趣的搜索

0.532732s