Categories


Tags


【院长帮帮忙】页面无用时间信息导致网页不被爬虫抓取(第一期)

在【院长帮帮忙】栏目露过面的站点是编织汇(www.bianzhihui.com),该站点通过反馈中心反馈页面内容迟迟不被抓取,经百度工程师追查,原来是因为页面上的无用时间信息——没有想到是不是?同学们快来看看这个案例吧。也想让院长帮助追查吗?快来看看这里!

站点求助:现象

编织汇网站内容发布后几个礼拜都未曾收录。案例如下:

http://www.bianzhihui.com/t/6717(教程详细页面举例)

http://www.bianzhihui.com/u/12306 (用户页面举例)

http://www.bianzhihui.com/h/154 (编织花样页面举例)

我们已将这些url放入sitemap,并使用了百度统计的集成的JS推荐,但是未曾有改善。

站点求助:自查

根据反馈中心的回复,使用抓取异常工具诊断:未发现异常

院长出手,内部追查

工程师结论: spider抓取很及时,但因为该网站没有设置内容产出时间,网站底部却有个老旧时间日期,导致spider误以为网页内容老旧(具体策略较复杂,在此不做赘述)。建议增加页面内容产生时间,去掉没有必要的时间信息

*以上为旧页面截图,“2014年9月9日”对时间识别造成干扰。

站点总结:

1,网页上切忌勿乱加时间,如我们网站的(始于2014年9月9日)这种时间是一个大忌

2,网页内容尽可能加上产出时间,也就是发布时间

3,百度site的结果时间和权重并无太多关系

4,跟百度沟通的时候,一定要条例清晰,证据确凿。自身的问题一定要先排查准确。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2015-07-21 15:22:04

网站的搜索引擎蜘蛛抓取越多越好?事实未必

如此 实际上,搜索引擎蜘蛛抓取越多并不一定是越好的。这取决于您的网站是做什么的。如果您的网站有重要的动态内容,那么如果您的搜索引擎蜘蛛抓取过多,将会给您的网站带来压力,导致网站性能和速度下降。如果您的网站是基于静态内容的,例如博客,则搜索引擎蜘蛛抓取更多是没有问题的。

Public @ 2023-02-24 16:00:16

如何让 sogou spider 不抓我的网站

sogou spider 支持 robots 协议,您可以在网站的根目录放置 robots.txt。robots.txt 的规则请参阅 http://www.robotstxt.org/。需要注意的是,最新更新的 robots.txt 可能需要几个星期才能体现出效果来,另外,被您禁止 sogou spider 收录的网页将不能在搜狗搜索引擎上检索到。

Public @ 2011-12-05 15:38:56

【院长帮帮忙】移动适配不稳定、不生效,可能是这些原因造成的!(第五期)

1. 未设置Viewport Viewport是指浏览器中用于控制页面布局和缩放比例的元标签,如果未设置Viewport,则移动端浏览器会将页面按照PC端浏览器默认的布局来显示,导致页面排版错乱。因此,需要在head部分加入Viewport的设置,例如: ```html ``` 2. 媒体查询错误 在进行移动适配时,我们通常会使用媒体查询来针对不同设备进行样式的调整。但是,如果媒体查询的

Public @ 2023-04-04 12:50:29

【院长帮帮忙】地域类站点,这个问题一定要注意!(第八期)

最近院长收到一个地方站较多的网站反馈站点问题,网站在搜索北京XX网的情况下,搜索结果下却出现大量这个网站的其他地方站,这是什么问题呢?工程师问题追查:首先,百度对网站的收录没有问题,而以上情况的产生,是因为网站的移动适配错误造成的。以上网站的移动适配,将全部的地方站类似xuzhou.abc.com,在移动端适配指向都是3g.abc.com,举例来说徐州站,对应的移动站地址实际是3g.abc.com

Public @ 2014-08-13 15:22:06

更多您感兴趣的搜索

0.425047s