Categories


Tags


搜索问答剧场 【六】“死链”常见问题解析

哈喽大家好,

最近平小雕在观察和学习时,

发现很多开发者都提出了死链方面的问题。

这不我(平小雕)和胡小鱼立马联手找出了大家对死链的种种疑问,并做出了解答,大家快来看看怎么解决死链常见问题吧!

第六集【搜索问答剧场】,让我们围观网站运营中出现的死链相关问题,学习如何快速处理网站死链吧!

一、了解死链

1、死链都有哪些类型?

A:死链一般是指页面已经无效,无法对用户提供任何有价值信息的页面。包括协议死链和内容死链。

(1)协议死链:页面的TCP协议状态/HTTP协议状态明确表示的死链,常见的如403、404、503状态等。

(2)内容死链:服务器返回状态是正常的,但内容已经变更为不存在、已删除或需要权限等与原内容无关的信息页面。内容死链,服务器端返回HTTP状态码200,无法设置为404。

2、Q:死链是如何产生的?

A:死链可能存在以下来源:

(1)网站内部主动或被动添加了错误内容链接,发现后需要及时做404处理,如网站被恶意添加大量黄反内容等。

(2)网站服务器、空间或程序问题,导致网站短暂无法访问,如服务器不稳定。

(3)外部链接错误,用户或者站长在站外发布了错误URL。

(4)爬虫提取不完整的URL,个别爬虫在提取页面URL时,因为URL中有不规则字符,或者URL与后边的文字链接起来,导致URL失效。

(5)网站改版,网站改版后,之前的老域名页面直接删除,导致了大量的死链接。

3、Q:为什么要及时处理死链 ?不处理是否有影响?

A:(1)死链是页面无效,不能给浏览用户提供任何价值,但增加网站的管理成本。

(2)当网站死链数据累积过多时,且被展示到搜索结果页中时,对网站本身的访问体验和造成负面影响。

(3)百度蜘蛛会定期检测网站页面内容价值,若存在大量死链,可能会影响网站整体评价,从而不能更好的进行网站抓取和展现。

4、Q:如何发现网站中存在的死链接?

A:(1)搜索资源平台工具:抓取异常工具可以查看最近产生的死链,且支持导出功能。

(2)参考爬虫软件:此类工具可以爬取全站所有链接并分析页面状态,分析完成后,支持导出功能,提取死链接即可。

二、教你如何处理死链页面

1、Q:如何有效处理死链?

A:死链资源的更新,不同网站可能会存在不同周期。为保障及时更新死链,可以通过资源平台-【死链提交】工具,进行提交。

2、Q:如何使用平台工具处理死链?

A:使用【死链提交】工具有效的提交死链,需要以下步骤:

第一步:处理的页面设置404页面

将需处理的页面设置404页面,生成死链文件整理被黑、无效等需要被删除的资源,页面设置404,一定是404页面。

将需提交的404页面列表制作成一个待提交的文件,制作方法请参阅帮助文档:

(与sitemap格式及制作方法一致)

第二步:将文件放置在网站根目录下

将死链文件放置在网站根目录下,比如您的网站为example.com,您已制作了一个silian_ example.xml死链文件,则将silian_example.xml上传至网站根目录即example.com/silian_ example.xml。

第三步:登录百度搜索资源平台

登录搜索资源平台,找到【死链提交】工具。(若未站点验证,需要先完成站点验证,之后使用工具提交文件)。

第四步:提交死链数据

(1)【资源提交】-【死链提交】工具中提交死链文件。

(2)提交完成后,关注死链文件处理状态。

三、使用【死链提交】工具的注意事项

1、【死链提交】工具可以识别403、500等无效数据吗?

A:不可以,【死链提交】工具仅识别404,请一定设置为404;若存在非404资源,可能会影响整个文件生效情况。

注:请勿使用该工具提交非死链内容,避免影响正常页面的搜索展现效果。

2、【死链提交】工具是否可以删除目录下所有链接(如:*.a.example.com)?

A:不支持目录级提交,只能提交具体需要删除的链接 。

3、工具支持索引型sitemap文件吗?

A:不支持,请勿提交索引型文件。

4、提交数据的生效周期是什么?

A:死链提交后一般生效周期为1-2周。

来源:百度搜索资源平台


Public @ 2012-12-31 15:36:48

【官方说法】HTTPS改造,302也可以接受啦!

之前HTTPS改造中提过,要求做了HTTPS的网站,建议保留HTTP站点48小时,且将HTTP站点301到HTTPS站中,而且是必须301才可以。现在,HTTPS认证工具升级,HTTP站点301或者302到HTTPS站点都可以了,两种跳转方式都可以识别。再来回顾一下,如果网站做了HTTPS协议,站长可使用HTTPS认证工具,帮助百度搜索快速识别并收录HTTPS站点,使用HTTPS认证工具,需要注意

Public @ 2013-10-16 15:35:52

新浪死链处理经验分享

在第四次深“度”接触结束后,spider工程师表示新浪的死链处理工作一直效果不错,提醒学堂应该请其做个分享。新浪稳座国家级门户头把交椅,谁还敢说自己网站结构的复杂程度可以超越新浪。于是我们请王久明分享一下新浪在死链处理和死链预防(重要页面因修改而产生死链)方面的经验。一、在以下背景下会较多产生死链:1、时政新闻的敏感性;2、来自监管的删除需求;3、频道(编辑)自身删改的需求;4、搜索方期望资源方主

Public @ 2013-02-21 15:36:49

搜索引擎自己应该是可以检测协议死链(404、403等)的,为什么还需要站长提交?

因为,搜索引擎对各类网页的抓取过程可能存在不可抗力的因素,比如网络延迟、缓存策略、主机垮掉等,可能会导致抓取异常,无法正常检测死链。这时就需要站长通过提交,及时通知搜索引擎,让其及时发现并修复死链。

Public @ 2023-03-03 04:48:09

大量死链对搜索引擎来讲,有什么影响?

1、死链率过高,会影响搜索引擎对网站的评分。2、搜索引擎对每个网站每天抓取的频次是限额的,若网站存在大量死链,会浪费掉抓取配额并影响其他正常页面的抓取。3、过多死链对网站用户来讲也是体验不好的表现。来源:百度搜索资源平台 百度搜索学堂

Public @ 2010-05-12 15:36:53

更多您感兴趣的搜索

0.561085s