Categories


Tags


搜索引擎中各关键功能模块功能简介

(1)爬虫:从互联网爬取原始网页数据,存储于文档知识库服务器。

(2)文档知识库服务器:存储原始网页数据,通常是分布式Key-Value数据库,能根据URL/UID快速获取网页内容。

(3)索引:读取原始网页数据,解析网页,抽取有效字段,生成索引数据。索引数据的生成方式通常是增量的,分块/分片的,并会进行索引合并、优化和删除。生成的索引数据通常包括:字典数据、倒排表、正排表、文档属性等。生成的索引存储于索引服务器。

(4)索引服务器:存储索引数据,主要是倒排表,通常是分块、分片存储,并支持增量更新和删除。数据内容量非常大时,还根据类别、主题、时间、网页质量划分数据分区和分布,更好地服务在线查询。

(5)检索:读取倒排表索引,响应前端查询请求,返回相关文档列表数据。

(6)排序:对检索器返回的文档列表进行排序,基于文档和查询的相关性、文档的链接权重等属性。

(7)链接分析:收集各网页的链接数据和锚文本(Anchor Text),以此计算各网页链接评分,最终会作为网页属性参与返回结果排序。

(8)网页去重:提取各网页的相关特征属性,计算相似网页组,提供离线索引和在线查询的去重服务。

(9)网页反垃圾:收集各网页和网站历史信息,提取垃圾网页特征,从而对在线索引中的网页进行判定,去除垃圾网页。

(10)查询分析:分析用户查询,生成结构化查询请求,指派到相应的类别、主题数据服务器进行查询。

(11)页面描述/摘要:为检索和排序完成的网页列表提供相应的描述和摘要。

(12)前端:接受用户请求,分发至相应服务器,返回查询结果。


Public @ 2017-08-24 16:22:25

搜索引擎的工作原理

搜索引擎的工作原理可以简单地概括为以下几个步骤: 1. 搜索引擎的爬虫程序从网络上收集网页并建立一个索引,这个索引包括每个网页的关键词、标题、链接等信息。 2. 用户输入搜索关键词,搜索引擎会根据这个关键词来查找索引,找到与该关键词相关的网页。 3. 搜索引擎会对这些相关网页进行排序,通常是按照重要性和相关性等因素来排序,然后呈现给用户。 4. 用户点击搜索结果中的链接,进入相应网页。

Public @ 2023-04-17 07:00:08

百度搜索引擎工作原理-2-抓取建库

Spider抓取系统的基本框架互联网信息爆发式增长,如何有效的获取并利用这些信息是搜索引擎工作中的首要环节。数据抓取系统作为整个搜索系统中的上游,主要负责互联网信息的搜集、保存、更新环节,它像蜘蛛一样在网络间爬来爬去,因此通常会被叫做“spider”。例如我们常用的几家通用搜索引擎蜘蛛被称为:Baiduspdier、Googlebot、Sogou Web Spider等。Spider抓取系统是搜索

Public @ 2022-09-10 16:21:47

搜索引擎的工作原理

搜索引擎的工作原理可以简单地概括为以下几个步骤: 1. 搜索引擎的爬虫程序从网络上收集网页并建立一个索引,这个索引包括每个网页的关键词、标题、链接等信息。 2. 用户输入搜索关键词,搜索引擎会根据这个关键词来查找索引,找到与该关键词相关的网页。 3. 搜索引擎会对这些相关网页进行排序,通常是按照重要性和相关性等因素来排序,然后呈现给用户。 4. 用户点击搜索结果中的链接,进入相应网页。

Public @ 2023-04-17 07:00:08

搜索引擎对用户搜索词如何处理,怎么判断用户搜索词的结果?

搜索引擎通常会对用户的搜索词进行以下处理: 1. 分词:将用户输入的搜索词拆分成一个个单词,例如将“电影票”拆分为“电影”和“票”。 2. 去除停用词:将搜索词中的一些常见单词(如“的”、“了”等)去掉,因为这些词对搜索结果的影响较小。 3. 相关性计算:根据搜索引擎的算法,计算出每个搜索词与搜索结果的相关性,从而排序展示合适的结果。 4. 相关性排名:将搜索结果按相关性从高到低排序,优先

Public @ 2023-06-24 18:50:12

更多您感兴趣的搜索

0.668323s