Categories


Tags


【院长帮帮忙】页面无用时间信息导致网页不被爬虫抓取(第一期)

在【院长帮帮忙】栏目露过面的站点是编织汇(www.bianzhihui.com),该站点通过反馈中心反馈页面内容迟迟不被抓取,经百度工程师追查,原来是因为页面上的无用时间信息——没有想到是不是?同学们快来看看这个案例吧。也想让院长帮助追查吗?快来看看这里!

站点求助:现象

编织汇网站内容发布后几个礼拜都未曾收录。案例如下:

http://www.bianzhihui.com/t/6717(教程详细页面举例)

http://www.bianzhihui.com/u/12306 (用户页面举例)

http://www.bianzhihui.com/h/154 (编织花样页面举例)

我们已将这些url放入sitemap,并使用了百度统计的集成的JS推荐,但是未曾有改善。

站点求助:自查

根据反馈中心的回复,使用抓取异常工具诊断:未发现异常

院长出手,内部追查

工程师结论: spider抓取很及时,但因为该网站没有设置内容产出时间,网站底部却有个老旧时间日期,导致spider误以为网页内容老旧(具体策略较复杂,在此不做赘述)。建议增加页面内容产生时间,去掉没有必要的时间信息

*以上为旧页面截图,“2014年9月9日”对时间识别造成干扰。

站点总结:

1,网页上切忌勿乱加时间,如我们网站的(始于2014年9月9日)这种时间是一个大忌

2,网页内容尽可能加上产出时间,也就是发布时间

3,百度site的结果时间和权重并无太多关系

4,跟百度沟通的时候,一定要条例清晰,证据确凿。自身的问题一定要先排查准确。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2015-07-21 15:22:04

Chrome浏览器模拟百度蜘蛛访问

某些网站可能针对搜索引擎挂马(百度/360/搜狗等),Chrome浏览器可以安装User-Agent Switcher for Chrome模拟百度蜘蛛来访问网页,如果是针对搜索引擎挂马的就会显示。下载蜘蛛模拟软件,模拟蜘蛛访问查看非法信息。准备工作已经安装Google Chrome浏览器安装扩展访问 User-AgentSwitcher_1_0_43.crx 并下载这个扩展按照下图打开Chrom

Public @ 2019-10-16 16:22:26

什么是搜索引擎蜘蛛

搜索引擎蜘蛛可以简单的理解为页面信息采集工具,不需要人工去采集,它会自动根据URL链接一个一个爬行过去,然后再抓取页面的信息,然后再存到服务器的列队中,为用户提供目标主题所需要的数据资源,搜索引擎蜘蛛不是所有的页面都会抓取的,主要有三个原因:一是技术上的原因。二是服务器存储方面的原因。三是提供用户搜索数据量太大,会影响效率。所以说,搜索引擎蜘蛛一般只是抓取那些重要的网页,而在抓取的时候评价重要性主

Public @ 2017-10-04 16:22:29

【院长帮帮忙】第三期:无效搜索结果页是个祸害

上一期在【院长帮帮忙】里露面的是和讯网,由于他们的服务器限制外网访问,造成主动推送失败。本期这个站点的SEO负责人希望不要暴露身份,院长同意了。我们来看看无效搜索结果页是如何祸害站点、尤其是新站点的吧。也想让院长帮助追查吗?快来看看这里!站点求助:现象B2B新站上线有一个月,一开始的时候收录还是不错的,在百度里直接搜索网站名能排到首页第5位的样子,但是在百度站长平台认证了我们的站,修改了一下rob

Public @ 2010-09-15 15:22:03

【院长帮帮忙】站点打不开,可能是referer设置问题!(第六期)

站点反馈,在移动搜索下站点被百度屏蔽了经查站点在PC端打开无影响,仅移动端无法打开,且落地页体验、内容均良好,站点并不是被百度屏蔽,而是站点M端的Referer值太长,导致网站打不开(Referer长度不能超过256,超过以后抓取结果为404)站点referer值referer值长度要求各位站长们记住了哦,如遇以上这种情况,被百度屏蔽的锅,我们可不背哦!来源:百度搜索资源平台 百度搜索学堂

Public @ 2022-06-28 15:22:06

更多您感兴趣的搜索

0.076316s