Categories


Tags


【院长帮帮忙】页面无用时间信息导致网页不被爬虫抓取(第一期)

在【院长帮帮忙】栏目露过面的站点是编织汇(www.bianzhihui.com),该站点通过反馈中心反馈页面内容迟迟不被抓取,经百度工程师追查,原来是因为页面上的无用时间信息——没有想到是不是?同学们快来看看这个案例吧。也想让院长帮助追查吗?快来看看这里!

站点求助:现象

编织汇网站内容发布后几个礼拜都未曾收录。案例如下:

http://www.bianzhihui.com/t/6717(教程详细页面举例)

http://www.bianzhihui.com/u/12306 (用户页面举例)

http://www.bianzhihui.com/h/154 (编织花样页面举例)

我们已将这些url放入sitemap,并使用了百度统计的集成的JS推荐,但是未曾有改善。

站点求助:自查

根据反馈中心的回复,使用抓取异常工具诊断:未发现异常

院长出手,内部追查

工程师结论: spider抓取很及时,但因为该网站没有设置内容产出时间,网站底部却有个老旧时间日期,导致spider误以为网页内容老旧(具体策略较复杂,在此不做赘述)。建议增加页面内容产生时间,去掉没有必要的时间信息

*以上为旧页面截图,“2014年9月9日”对时间识别造成干扰。

站点总结:

1,网页上切忌勿乱加时间,如我们网站的(始于2014年9月9日)这种时间是一个大忌

2,网页内容尽可能加上产出时间,也就是发布时间

3,百度site的结果时间和权重并无太多关系

4,跟百度沟通的时候,一定要条例清晰,证据确凿。自身的问题一定要先排查准确。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2015-07-21 15:22:04

屏蔽百度爬虫的方法

在百度C2C产品“百度有啊”即将上线的时候,淘宝网站曾经屏蔽百度搜索爬虫,禁止百度搜索引擎抓取淘宝网站的网页内容,淘宝官方的解释是“杜绝不良商家欺诈”。在技术层面,淘宝屏蔽百度的方法是,在网站的robots.txt文件中加上如下内容:User-agent: BaiduspiderDisallow: /但实际上这种方法并不能完全屏蔽百度的爬虫,至今在百度上输入site:taobao.com还是可以看

Public @ 2012-08-15 15:56:41

【院长帮帮忙】第三期:无效搜索结果页是个祸害

上一期在【院长帮帮忙】里露面的是和讯网,由于他们的服务器限制外网访问,造成主动推送失败。本期这个站点的SEO负责人希望不要暴露身份,院长同意了。我们来看看无效搜索结果页是如何祸害站点、尤其是新站点的吧。也想让院长帮助追查吗?快来看看这里!站点求助:现象B2B新站上线有一个月,一开始的时候收录还是不错的,在百度里直接搜索网站名能排到首页第5位的样子,但是在百度站长平台认证了我们的站,修改了一下rob

Public @ 2010-09-15 15:22:03

【院长帮帮忙】移动适配不稳定、不生效,可能是这些原因造成的!(第五期)

1. 平台兼容性问题:不同移动设备或操作系统的适配方式可能不同,需要适配的平台越多,问题也就越多。解决方案是在开发前进行充分的市场调研和测试,确保在主流平台上的适配稳定生效。 2. 分辨率适配问题:不同移动设备的屏幕分辨率不同,可能导致界面显示异常或排版错乱。解决方案是通过媒体查询、百分比布局等技术手段,使页面能够根据不同分辨率自动适配。 3. 浏览器兼容性问题:不同浏览器对于HTML、CSS

Public @ 2023-07-27 10:00:35

更多您感兴趣的搜索

0.455944s