搜索引擎是怎么删除重复网页的
- 威海搜索引擎工作原理 威海搜索引擎工作原理
- 981
搜索引擎是通过比较网页URL,内容和相关属性来删除重复网页的,具体步骤如下: 1. 搜索引擎收集器(Crawler)会在网络上发现新网页并收集,此时会有一定概率发现相同的网页,并添加到收集器的索引中去。 2. 收集器会识别新的网页,把重复的网页排除。 3. 然后,搜索引擎把新索引serves给布置在 Indexer(索引器)中,执行深入索引,会把相同内容的文章及URL排除,仅保留一条记录。 4. 最后,Indexer根据收集器搜集来的URL和文章,再次把重复的网页排除,仅保留一条记录。