Categories


Tags


【院长帮帮忙】页面无用时间信息导致网页不被爬虫抓取(第一期)

在【院长帮帮忙】栏目露过面的站点是编织汇(www.bianzhihui.com),该站点通过反馈中心反馈页面内容迟迟不被抓取,经百度工程师追查,原来是因为页面上的无用时间信息——没有想到是不是?同学们快来看看这个案例吧。也想让院长帮助追查吗?快来看看这里!

站点求助:现象

编织汇网站内容发布后几个礼拜都未曾收录。案例如下:

http://www.bianzhihui.com/t/6717(教程详细页面举例)

http://www.bianzhihui.com/u/12306 (用户页面举例)

http://www.bianzhihui.com/h/154 (编织花样页面举例)

我们已将这些url放入sitemap,并使用了百度统计的集成的JS推荐,但是未曾有改善。

站点求助:自查

根据反馈中心的回复,使用抓取异常工具诊断:未发现异常

院长出手,内部追查

工程师结论: spider抓取很及时,但因为该网站没有设置内容产出时间,网站底部却有个老旧时间日期,导致spider误以为网页内容老旧(具体策略较复杂,在此不做赘述)。建议增加页面内容产生时间,去掉没有必要的时间信息

*以上为旧页面截图,“2014年9月9日”对时间识别造成干扰。

站点总结:

1,网页上切忌勿乱加时间,如我们网站的(始于2014年9月9日)这种时间是一个大忌

2,网页内容尽可能加上产出时间,也就是发布时间

3,百度site的结果时间和权重并无太多关系

4,跟百度沟通的时候,一定要条例清晰,证据确凿。自身的问题一定要先排查准确。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2015-07-21 15:22:04

我不想我的网站被Baiduspider访问,我该怎么做?

Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站,或者禁止Baiduspider访问您网站上的部分文件。 注意:禁止Baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于robots.txt的写作方法,请参看我们的介绍:robots.txt写作方

Public @ 2010-07-26 15:56:48

如何提高spider抓取网站?提高spider抓取策略(2)

上一篇文章中,给大家简单介绍了提高spider抓取网站策略的两大方法,另外还有五个策略接着给分享给大家。如果没有浏览上篇文章,可以通过以下链接查看:【如何提高spider抓取网站?提高spider抓取策略(1)】提高spider抓取策略有哪些?三、多种URL重定向的识别为了让spider能够对多种URL重定向的识别,重定向分别有三类:HTTP 30x重定向、Meta refresh重定向和JS重定

Public @ 2013-03-16 16:22:34

【院长帮帮忙】第三期:无效搜索结果页是个祸害

上一期在【院长帮帮忙】里露面的是和讯网,由于他们的服务器限制外网访问,造成主动推送失败。本期这个站点的SEO负责人希望不要暴露身份,院长同意了。我们来看看无效搜索结果页是如何祸害站点、尤其是新站点的吧。也想让院长帮助追查吗?快来看看这里!站点求助:现象B2B新站上线有一个月,一开始的时候收录还是不错的,在百度里直接搜索网站名能排到首页第5位的样子,但是在百度站长平台认证了我们的站,修改了一下rob

Public @ 2010-09-15 15:22:03

【院长帮帮忙】页面无用时间信息导致网页不被爬虫抓取(第一期)

在【院长帮帮忙】栏目露过面的站点是编织汇(www.bianzhihui.com),该站点通过反馈中心反馈页面内容迟迟不被抓取,经百度工程师追查,原来是因为页面上的无用时间信息——没有想到是不是?同学们快来看看这个案例吧。也想让院长帮助追查吗?快来看看这里!站点求助:现象编织汇网站内容发布后几个礼拜都未曾收录。案例如下:http://www.bianzhihui.com/t/6717(教程详细页面举

Public @ 2015-07-21 15:22:04

更多您感兴趣的搜索

0.564920s