搜索引擎是通过比较网页URL，内容和相关属性来删除重复网页的，具体步骤如下： 1. 搜索引擎收集器(Crawler)会在网络上发现新网页并收集，此时会有一定概率发现相同的网页，并添加到收集器的索引中去。 2. 收集器会识别新的网页，把重复的网页排除。 3. 然后，搜索引擎把新索引serves给布置在 Indexer(索引器)中，执行深入索引，会把相同内容的文章及URL排除，仅保留一条记录。 4. 最后，Indexer根据收集器搜集来的URL和文章，再次把重复的网页排除，仅保留一条记录。
中文分词技术是搜索引擎技术中的关键技术之一，它的主要作用是将一个连续的中文文本切分成一个一个独立的词语，以便于搜索引擎进行后续的处理和分析。 中文分词技术的目标是识别出中文文本中的词语，解决中文语言中没有明显的词语分隔符的问题。中文分词技术主要包括以下几种方法： 1. 基于词典的分词：通过构建一个包含常用词语的词典，将文本与词典进行匹配，识别出词典中存在的词语作为分词结果。 2. 基于规则的
外部投票是指其他网站通过链接引导用户来到被投票网站的行为。在搜索引擎的工作原理中，外部投票是非常重要的因素之一，因为搜索引擎将其视为其他网站对被投票网站的认可和推荐。 外部投票的数量和质量对搜索引擎的排名影响非常大。如果一个网站拥有高质量的外部投票，那么搜索引擎就会认为这个网站是一个权威和受欢迎的网站，排名会相应提高。相反，如果一个网站的外部投票数量和质量很差，搜索引擎就会认为这个网站不值得被推
前面简要介绍过了搜索引擎的索引系统，实际上在建立倒排索引的最后还需要有一个入库写库的过程，而为了提高效率这个过程还需要将全部term以及偏移量保存在文件头部，并且对数据进行压缩，这涉及到的过于技术化在此就不多提了。今天简要给大家介绍一下索引之后的检索系统。检索系统主要包含了五个部分，如下图所示：索引&检索.jpg（1）Query串切词分词即将用户的查询词进行分词，对之后的查询做准备，以“1
搜索引擎基本结构一般包括：搜索器、索引器、检索器、用户接口等四个功能模块。1、搜索器：搜索器也叫网络蜘蛛，是搜索引擎用来爬行和抓取网页的一个自动程序，在系统后台不停歇地在互联网各个节点爬行，在爬行过程中尽可能快的发现和抓取网页。2、索引器。它的主要功能是理解搜索器所采集的网页信息，并从中抽取索引项。3、检索器。其功能是快速查找文档，进行文档与查询的相关度评价，对要输出的结果进行排序。4、用户接口。
