Categories


Tags


未来SEO也许不用再操心爬行、抓取问题?

SEO每天一贴很少写关于必应Bing或雅虎Yahoo!的事,原因显而易见:他们那可怜的市场份额真不大值得写。

微软虽然一直对搜索不离不弃,投入重金和时间,但到目前为止,Bing在搜索市场从来都是个陪衬。Yahoo!就更甭提了,在收购了除Google、Bing以外的所有搜索引擎之后,Yahoo!竟然自废武功,把自己多年积累、收购的所有搜索技术彻底放弃了,雅虎网站的搜索功能转为使用Bing的技术 – – 不禁让人心里嘀咕:确定不是Google卧底干的吗?一个最重要的对手就这么没了?

不过Bing对SEO们一直都是挺友好的,而且Bing工程师们给SEO行业不少很有建设性的意见。比如,关于外链建设,我觉得最精彩的一句话就是某位必应工程师说的,大意是,最好的外链是那些你根本不知道其存在的外链。

必应大幅提高URL提交限额

一月底Bing站长博客发了一篇帖子,表示Bing站长工具URL提交工具做了升级,大幅提高站长可以提交的URL数目上限,从原来的每天只能提交10个,每个月最多50个,增长1000倍,现在每天可以提交10,000个,没有月上限。唯一的限制是,网站需要在Bing站长工具注册验证180天以上:

Bing提高URL提交上限

帖子还说了很有意思的一段话,如果以后搜索引擎按这个方向发展的话,SEO们未来可能不用再操心页面爬行、抓取的问题了:

We believe that enabling this change will trigger a fundamental shift in the way that search engines, such as Bing, retreive and are notified of new and updated content across the web. Instead of Bing monitoring often RSS and similar feeds or frequently crawling websites to check for new pages, discover content changes and/or new outbound links, websites will notify the Bing directly about relevant URLs changing on their website. This means that eventually search engines can reduce crawling frequency of sites to detect changes and refresh the indexed content.

翻译过来大意是:

我们相信这个变化会引发搜索引擎发现及抓取新内容(包括新建或更新的内容)方式的根本性变革。站长将可以直接通知Bing网站上有了URL变化,而不需要Bing通过监控RSS或频繁爬行来发现新页面。这实际上意味着搜索引擎在发现、更新索引内容时,可以降低对网站的爬行频率。

内容索引不再依靠爬行?

一直以来,我觉得SEO有三大难点:内容、内部链接结构、外链建设。其中,网站内部链接结构就是要解决搜索引擎有效爬行、抓取的难题,既要抓得全,抓得快,又要避免抓取不必要的内容,还得合理分配权重。越是大站,这个问题越难完美解决。做过大站的SEO一定都深有体会,不管怎样调整网站结构,都无法做到页面100%被索引。

必应的这篇帖子在告诉SEO们,以后很可能不用担心抓取的问题了,有了新页面,或者旧页面有了更新,直接提交URL就行了(通过站长工具或API),不必依靠Bing蜘蛛爬行抓取,实际上,Bing蜘蛛会大大减少爬行,却不耽误索引新内容。

后续SearchEngineLand对Bing搜索工程师的访谈证实,减少爬行,确实是Bing的目标。他们希望未来几年内,Bing不再依靠爬行来发现新内容。Bing认为,对网站爬行的方法低效、费资源,不如站长直接提交内容。Bing表示,提交URL是页面抓取的“很强”的信号,要想内容被快速索引,就赶紧用提交工具吧。

确实,大型网站,页面被抓取一遍,可能需要几个星期,甚至更长时间,那么网站上有新页面,或老页面内容有更新,要被抓取,也可能会有几个星期的延迟。提交URL是个更快的方法。

其实百度早就在做类似的事,在百度资源平台提交内容是快速抓取新页面的很好方法,小时级收录确实可以在几小时内收录,有时几分钟就收录。不过百度资源平台提交好像不支持老的但有更新的页面。

对SEO行业的潜在影响

如果Google以后也跟进采取这个方法,可能会对SEO行业产生不小的影响。搜索引擎发现、抓取、索引新内容的方式变得更加简单直接,SEO们调整网站结构的必要性和难度将大大降低。

不过也有潜在问题。比如,黑帽SEO们显然不会放过这个机会。以前垃圾内容靠爬行被抓取越来越困难,因为从一个页面到另一个页面的爬行就是个鉴别、过滤的过程。大量主动提交垃圾页面成为可能后,搜索引擎该怎么处理?

再比如,搜索引擎减少爬行,倒是节省资源了,但老的、不更新的页面被重新抓取的次数将大大减少,这会不会导致链接关系计算的不准确、不及时?顺便提一句,不知道为什么总是有人说链接对排名已经不重要了,其实依然很重要。

SEO的基本方法过去十多年没有大变化,但SEO依然是个不断变化的行业。

来源:SEO每天一贴 Zac 昝辉


Public @ 2019-10-14 15:54:26

网站改版原来收录的URL怎么办?

网站改版有多种情况,有一种情况是:网站域名不变、网站系统要完全更换,内容继续在新系统使用。如果这个网站已存在一定时间,已有较多收录量,那么原来收录的那些URL该怎么办呢?有两个办法来解决:1、在新系统或新服务器上,增加一项功能,把老的已收录URL一一301给新的对应内容的URL上。如新系统采用搜外6系统,可在功能内搜索下301找到该功能。2、如果1办法无法实现,就是通过robots.txt文件屏蔽

Public @ 2010-03-19 15:36:47

seo实验证明子域名与子目录对排名的影响及优缺点分析

子域名与子目录是网站架构中常用的两种方式,不同的选择方式对SEO排名会有一定的影响。本文将从实验证明和分析优缺点两个方面,对子域名和子目录的选择进行比较分析。 #### 实验证明 通过实际的数据分析和对比,可以发现: 1. 子域名的排名相对不稳定,比较适合新站点或者专题站点 2. 子目录的排名相对稳定,适合长期发展的网站 具体的原因如下: ##### 子域名 子域名是在主域名前面添加前

Public @ 2023-05-31 21:01:11

SEO正邪之间

SEO黑帽白帽灰帽是个永远讨论不完的话题。公说公有理,婆说婆有理。搜索引擎要保护自己的搜索结果质量,SEO也是为了混口饭吃。其实我觉得SEO手法是否是黑帽或是白帽,不应该看搜索引擎怎么判断,而是看是否对得起自己的良心?是否已经触及到道德底线?有些东西和SEO,搜索引擎排名没什么关系,但是纯属缺德的事,那就是黑帽,是不能做的。有的东西搜索引擎当然不愿意你做,但并没对不起谁,在需要的时候没什么可犹豫的

Public @ 2013-09-13 15:54:25

搜索引擎优化也要与时俱进

搜索引擎优化是一项不断进化的技术,随着搜索引擎算法的不断变化,SEO技术也需要不断地更新、调整和改进,以适应不断变化的搜索引擎环境。唯有保持与时俱进,才能够保证网站在搜索引擎的排名上保持优势。 以下是一些与时俱进的SEO技巧: 1. 手机优先:随着智能手机的普及,移动设备搜索成为了用户获取信息的主要途径。因此,网站必须能够在移动设备上完美呈现。 2. 长尾关键词:长尾关键词比短尾关键词更能识

Public @ 2023-04-13 12:51:00

更多您感兴趣的搜索

0.430027s