Categories


Tags


搜索引擎工作原理

基本流程

抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫(Spider)。爬虫顺着网页中的超链接,从这个网站爬到另一个网站,通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍,理论上,从一定范围的网页出发,就能搜集到绝大多数的网页。

处理网页。搜索引擎抓到网页后,还要做大量的预处理工作,才能提供检索服务。其中,最重要的就是提取关键词,建立索引库和索引。其他还包括去除重复网页、分词(中文)、判断网页类型、分析超链接、计算网页的重要度/丰富度等。

提供检索服务。用户输入关键词进行检索,搜索引擎从索引数据库中找到匹配该关键词的网页;为了用户便于判断,除了网页标题和URL外,还会提供一段来自网页的摘要以及其他信息。

搜索引擎的自动信息搜集功能

提交网站搜索。站长主动向搜索引擎提交网址,它在一定时间内定向向你的网站派出爬虫,扫描你的网站并将有关信息存入数据库,以备用户查询。由于搜索引擎索引规则相对于过去已发生很大变化,主动提交网址并不保证你的网站能进入搜索引擎数据库,因此站长应该在网站内容上多下功夫,并让搜索引擎有更多机会找到你并自动将你的网站收录。

当用户以关键词查找信息时,搜索引擎会在数据库中进行搜寻,如果找到与用户要求内容相符的网站,便采用特殊的算法——通常根据网页中关键词的匹配程度,出现的位置、频次,链接质量等——计算出各网页的相关度及排名等级,然后根据关联度高低,按顺序将这些网页链接返回给用户。

我们想说的是您应该将您优化的重心和出发点主要放在用户体验上,因为用户才是您网站内容的主要受众,是他们通过搜索引擎找到了您的网站。过度专注于用特定的技巧获取搜索引擎自然搜索结果的排名不一定能够达到您想要的结果。

来源:搜狗资源平台


Public @ 2015-11-08 16:21:49

搜索引擎工作的基础流程与原理

搜索引擎的基本工作原理是:用户向搜索引擎输入一系列关键词,搜索引擎会从自身拥有的网页数据库中根据相关算法去检索出匹配度最高的搜索结果进行显示和返回给用户。 搜索引擎的基本流程包括: 1. 网页爬虫:搜索引擎会通过程序自动爬取网页上的数据。 2. 网页索引:搜索引擎会把所有爬取的数据进行索引,并在索引中建立统一的编号,以便后续的检索。 3. 网页分类:搜索引擎会把所有索引的内容进行分类,

Public @ 2023-03-01 20:00:35

搜索引擎网页去重算法分析

相关统计数据表明:互联网上近似重复的网页的数量占网页总数量的比例高达29%,完全相同的网页大约占网页总数量的22%.研究表明,在一个大型的信息采集系统中,30%的网页是和另外70%的网页完全重复或近似重复的。即:互联网的网页中相当高的比例的网页内容是近似相同或完全相同的!搜索爬虫抓取会产生网页重复的类型:1.多个URL地址指向同一网页以及镜像站点如:www.sina.com 和www.sina.c

Public @ 2020-07-15 16:21:55

数据分析:如何追踪访客初始来源

了解网站的运营情况、了解用户构成是保证网站健康持续发展的重要基础,所以看数据做分析是网站优化人员每日必做的工作。上周平台发布了《网站分析白皮书(站长版)》,本周小编又发现了一篇非常好的实战型文章《在Google Analytics中如何跟踪访客的初始来源》,作者马骏是已获得GOOGLE Analytics IQ认证的网站访客行为分析师,得知平台要转载此文章后很贴心地将原文中的英文内容都做成了中文的

Public @ 2020-09-06 16:21:48

搜索引擎工作流程

搜索引擎工作流程主要有数据采集、数据预处理、数据处理、结果展示等阶段。在各工作阶段分别使用了网络爬虫、中文分词、大数据处理、数据挖掘等技术。网络爬虫也被称为蜘蛛或者网络机器人,它是搜索引擎抓取系统的重要组成部分。网络爬虫根据相应的规则,以某些站点作为起始站点通过各页面上的超链接遍历整个互联网,利用URL弓I用根据广度优先遍历策略从一个html文档爬行到另一个html文档来抓取信息。中文分词是中文搜

Public @ 2017-09-27 16:22:24

更多您感兴趣的搜索

0.622332s