Categories


Tags


如何提高spider抓取网站?提高spider抓取策略(1)

SEO网站优化SEOER,每天都要时刻关注百度蜘蛛有没有来抓取网站,抓取了网站哪些内容,没有抓取网站哪些内容,再没有抓取的页面上观察调整网站的问题。

想要提高爬虫抓取频率可以从几个方面着手,简单介绍提高spider抓取网站的策略。

提高spider抓取策略有哪些?

一、抓取友好性:抓取压力调配降低对网站的访问压力

带宽造成访问压力大,会直接影响网站的正常用户访问,为了不影响网站的正常用户访问,又能让spider抓取有价值性的页面。

1、IP压力控制

如果一个域名下存在多个IP,或者是多个域名下对应同一个IP,需要根据IP和域名多种条件进行压力调配控制。也可以在站长平台中使用压力反馈工具,人工调配对网站的抓取压力,这样spider会优先根据站长的要求进行抓取压力控制。

2、站点的抓取速度

如果在同一个站点,抓取速度控制有两类:第一类,一段时间内的抓取频率;第二类,一段时间内的抓取流量。同一个站点在不同的时间内抓取的速度是不同的,根据站点的类型来设置。

二、常用抓取返回码示意

1、404:“NOT FOUND”,表示该网页已经失效,通常在库中删除,spider如果发现这条URL是不会抓取的。

2、503:“Service Unavailable”,表示该网页暂时不能访问。网页返回503状态码,百度spider不会直接删除这条URL,再访问多次的情况下,网页如果恢复正常,就能正常抓取。如果继续返回503,才会认为是失效链接,从库中删除。

3、403:“Forbidden”, 表示该网页目前禁止访问。如果生成的是新的URL,spider是暂时不会抓取,也是会再访问多次;如果是被收录的URL,不会直接删除,短期内同样反复访问几次。如果网页正常访问,则正常抓取;如果仍然禁止访问,那么这条URL也会被认为是失效链接,从库中删除。

4、301:“Moved Permanently”, 表示该网页重定向到新的URL。如果站点需要更换域名、站点改版的情况下,需要设置301重定向,也可以在站长平台上网站改版工具提交,有效减少网站的流量损失。

来源:搜外网


Public @ 2010-03-31 16:22:35

我希望我的网站内容被搜狗索引但不被保存快照,我该怎么做?

sogou spider遵守互联网meta robots协议。您可以利用网页meta的设置,使搜狗显示只对该网页建索引,但并不在搜索结果中显示该网页的快照。和robots的更新一样,因为搜索引擎索引数据库的更新需要时间,虽然您已经在网页中通过meta禁止了搜狗在搜索结果中显示该网页的快照,但搜狗搜索引擎数据库中如果已经建立了网页索引信息,可能需要二至四周才会在线上生效。

Public @ 2019-12-28 15:38:55

各搜索引擎蜘蛛介绍

蜘蛛指的是通过互联网上的链接自动抓取网页的程序,主要用于搜索引擎中的搜索内容,以下是常见的搜索引擎蜘蛛介绍: 1. Google蜘蛛(Googlebot):Google的搜索引擎蜘蛛,通过自动爬取互联网上的网页内容,为Google搜索的相关结果提供支持。 2. 百度蜘蛛(Baiduspider):百度搜索的搜索引擎蜘蛛,通过抓取网页内容和链接,组成网页库,支持百度搜索结果的呈现。 3. 必应

Public @ 2023-03-30 10:00:26

网站的搜索引擎蜘蛛抓取越多越好?事实未必

做过SEO或站长的都应该知道,网站要想做排名就必须使网站文章先收录,而网站内容收录由跟搜索引擎蜘蛛的来访抓取有很大的关系。搜索引擎蜘蛛,又被称为网页爬虫,网络机器人,在FOAF社区中间,也经常被称为网页追逐者,是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。另外它还有一些不常使用的名字,如:蚂蚁,自动索引,模拟程序或者蠕虫。那么,对于一个网站来说,是不是来网站爬行的搜索引擎蜘蛛越多越好呢

Public @ 2015-11-05 16:22:38

更多您感兴趣的搜索

0.447825s