Categories


Tags


搜索引擎检索系统概述

前面简要介绍过了搜索引擎的索引系统,实际上在建立倒排索引的最后还需要有一个入库写库的过程,而为了提高效率这个过程还需要将全部term以及偏移量保存在文件头部,并且对数据进行压缩,这涉及到的过于技术化在此就不多提了。今天简要给大家介绍一下索引之后的检索系统。

检索系统主要包含了五个部分,如下图所示:

索引&检索.jpg

(1)Query串切词分词即将用户的查询词进行分词,对之后的查询做准备,以“10号线地铁故障”为例,可能的分词如下(同义词问题暂时略过):

10 0x123abc

号 0x13445d

线 0x234d

地铁 0x145cf

故障 0x354df

(2)查出含每个term的文档集合,即找出待选集合,如下:

0x123abc 1 2 3 4 7 9…..

0x13445d 2 5 8 9 10 11……

……

……

(3)求交,上述求交,文档2和文档9可能是我们需要找的,整个求交过程实际上关系着整个系统的性能,这里面包含了使用缓存等等手段进行性能优化;

(4)各种过滤,举例可能包含过滤掉死链、重复数据、色情、垃圾结果以及你懂的;

(5)最终排序,将最能满足用户需求的结果排序在最前,可能包括的有用信息如:网站的整体评价、网页质量、内容质量、资源质量、匹配程度、分散度、时效性等等,之后会详细给大家介绍。

如果大家对搜索引擎检索还有别的疑问,大家可以到[学堂同学汇][学习讨论]《搜索引擎检索系统概述》讨论帖中发表自己的看法,我们的工作人员会关注这里并与大家进行探讨。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2011-11-07 16:21:49

Google搜索引擎的工作原理

PPCblog.com呈现给我们一幅由Jess Bachman(在WallStats.com工作)精心描绘的示意图,这张流程图展示了每天拥有3亿次点击量的Google搜索按钮背后搜索引擎在那不到1秒的响应时间内所进行的处理。这张流程图演示了在你点击Google搜索按钮后,在Google返回查询结果前那一眨眼的功夫里,Google是如何处理你的搜索请求的?这可是搜索巨人Google年赢利额高达200

Public @ 2013-07-27 16:21:54

搜索引擎技术揭密:中文分词技术

中文分词技术是搜索引擎技术中的关键技术之一,它的主要作用是将一个连续的中文文本切分成一个一个独立的词语,以便于搜索引擎进行后续的处理和分析。 中文分词技术的目标是识别出中文文本中的词语,解决中文语言中没有明显的词语分隔符的问题。中文分词技术主要包括以下几种方法: 1. 基于词典的分词:通过构建一个包含常用词语的词典,将文本与词典进行匹配,识别出词典中存在的词语作为分词结果。 2. 基于规则的

Public @ 2023-07-25 13:00:37

爬行和抓取

爬行是指动物的行动方式,通常涉及身体的爬行和爬行的动作,如爬行动物(如蛇和蜥蜴)和爬行昆虫(如蚂蚁和蜘蛛)。 抓取是指通过握住或接触来获取动物或物体的行动。抓取可以包括动物的牙齿、爪子、手指、手掌和指甲等器官或物品如工具或表面。抓取通常是为了获取食物或其他资源,或者以进行自我保护或攻击。

Public @ 2023-04-16 07:00:07

搜索引擎怎样抓到你?

搜索引擎通常通过以下方式来抓取您的网页内容: 1. 网站提交:您可以将您的网站提交给各大搜索引擎,以便搜索引擎了解您的网站存在。 2. 网络爬虫:搜索引擎使用自己的网络爬虫程序,定期检索并抓取互联网上的内容。当您的网站被网络爬虫访问时,搜索引擎就可以抓取您的网页内容。 3. 外部链接:如果您的网站被其他网站所链接,搜索引擎可以通过这些链接进入您的网站并抓取您的网页内容。 4. 社交媒体:如

Public @ 2023-06-07 04:00:10

更多您感兴趣的搜索

0.560405s