Categories


Tags


搜索引擎如何抓取你的网页

搜索引擎优化(SEO)是搜索引擎有好的收录网页的过程,适当的SEO有利于蜘蛛爬行你的网站,使你的内容符合搜索引擎算法,以便确认它与关键词高度相关。

优化的目的就是使网页的内容便于蜘蛛理解,下面我就以百度新收录的一篇内容来进行说明,我以一个完整标题进行搜索,其目的是能反映出更多关键词在百度自然搜索的结果页面,能更好的说明搜索引擎是如何抓取你的网页的。

搜索引擎如何抓取你的网页 网站优化 SEO优化 SEO推广 第1张

(图一:百度最常见的自然搜索结果列表)

SEOer通常关注的是网页主体部分的自然搜索结果,百度和Google搜索结果页面大致相同,搜索结果页面通常为顶部、右侧、尾部均为广告链接,热门关键词会有广告,而我用这么长的词语就属于冷门词语,没有广告。

页面标题很重要

如图一所示,搜索引擎通常抓取的页面标题是HTML代码中的标题Title部分,所以说页面标题是写法对搜索引擎排名有重要的意义,通常页面标题Title的优化格式为:文章标题——栏目标题——网站标题。

它不一定只展示description

而第二行的描述部分通常会截取description部分,但更多时候会抓取正文的前200字,如果你要说具体显示description还是截取正文,是和用户搜索的关键词有关。比如图一中,百度截取了<h1>中的关键词,因为卢松松博客的中有“互联网”这个关键词。下图能直观的反应出这些问题。

搜索引擎如何抓取你的网页 网站优化 SEO优化 SEO推广 第2张

(图二:搜索引擎抓取的关键词分布一览)

把图一和图二结合起来看,我们就能清楚的分辨出,百度到底展示了网页的哪些部分,title、<h1>、截取正文和内容部分的关键词。;

用户搜索的关键词在搜索结果中都用红色高亮显示,用户可以非常迅速地看到该网页是否是自己想要的,通常百度和Google的搜索结果类似,我在这里就不多说了。

关键词的密度与分布

通过上面两张图,可以看出我搜索的有两大关键词“互联网”和“香港人”,通过图二我们可以看出,这两个关键词在我列出的6大部分中都有显示,它们均匀的分布在内容的各个部分,尤其是标题和title部分。当然由于我搜索关键词的问题,把整个标题都搜了一遍,所以分布的比较均匀。

而关键词的密度,至少我从来就没有在意过,如果在写文章的同时还考虑关键词密度的话是很累的。

我想,通过以上简单分析,大家应该能大致了解搜索引擎抓取你网页的什么部分了吧?

来源:卢松松博客


Public @ 2019-08-19 16:22:21

搜索引擎的工作原理

搜索引擎的工作原理可以简单地概括为以下几个步骤: 1. 搜索引擎的爬虫程序从网络上收集网页并建立一个索引,这个索引包括每个网页的关键词、标题、链接等信息。 2. 用户输入搜索关键词,搜索引擎会根据这个关键词来查找索引,找到与该关键词相关的网页。 3. 搜索引擎会对这些相关网页进行排序,通常是按照重要性和相关性等因素来排序,然后呈现给用户。 4. 用户点击搜索结果中的链接,进入相应网页。

Public @ 2023-04-17 07:00:08

搜索引擎工作原理

搜索引擎是一种用来搜索巨大的获取到的信息的技术,它根据用户输入的关键字或问题,再搜索索引库中获取到的信息,以便提供相关网站页面、新闻文档、图片和其他形式的信息来回答用户提出的问题。 搜索引擎的一般工作原理是,将信息经过索引化存在索引库中,用户通过输入一定的关键字搜索时,搜索引擎从索引库中搜索符合条件的结果项并返回;或者通过抓取网页技术在搜索引擎开发过程中,根据搜索引擎的网络爬虫技术逐一抓取网

Public @ 2023-02-24 00:23:15

搜索引擎排名的人工干预

虽然搜索引擎排名技术和算法一直在提高,但我相信所有搜索引擎都或多或少有人工干预,就算最标榜一切以算法和自动化为目标的Google,也肯定有人工因素。去年就曾经有人报道(http://www.searchbistro.com/index.php?/archives/19-Google-Secret-Lab,-Prelude.html),Google在很多国家的大学招募学生,进行搜索引擎结果的评价工作

Public @ 2022-08-25 16:21:50

搜索引擎工作流程

搜索引擎工作流程主要有数据采集、数据预处理、数据处理、结果展示等阶段。在各工作阶段分别使用了网络爬虫、中文分词、大数据处理、数据挖掘等技术。网络爬虫也被称为蜘蛛或者网络机器人,它是搜索引擎抓取系统的重要组成部分。网络爬虫根据相应的规则,以某些站点作为起始站点通过各页面上的超链接遍历整个互联网,利用URL弓I用根据广度优先遍历策略从一个html文档爬行到另一个html文档来抓取信息。中文分词是中文搜

Public @ 2017-09-27 16:22:24

更多您感兴趣的搜索

0.438062s