Categories


Tags


【院长帮帮忙】页面无用时间信息导致网页不被爬虫抓取(第一期)

在【院长帮帮忙】栏目露过面的站点是编织汇(www.bianzhihui.com),该站点通过反馈中心反馈页面内容迟迟不被抓取,经百度工程师追查,原来是因为页面上的无用时间信息——没有想到是不是?同学们快来看看这个案例吧。也想让院长帮助追查吗?快来看看这里!

站点求助:现象

编织汇网站内容发布后几个礼拜都未曾收录。案例如下:

http://www.bianzhihui.com/t/6717(教程详细页面举例)

http://www.bianzhihui.com/u/12306 (用户页面举例)

http://www.bianzhihui.com/h/154 (编织花样页面举例)

我们已将这些url放入sitemap,并使用了百度统计的集成的JS推荐,但是未曾有改善。

站点求助:自查

根据反馈中心的回复,使用抓取异常工具诊断:未发现异常

院长出手,内部追查

工程师结论: spider抓取很及时,但因为该网站没有设置内容产出时间,网站底部却有个老旧时间日期,导致spider误以为网页内容老旧(具体策略较复杂,在此不做赘述)。建议增加页面内容产生时间,去掉没有必要的时间信息

*以上为旧页面截图,“2014年9月9日”对时间识别造成干扰。

站点总结:

1,网页上切忌勿乱加时间,如我们网站的(始于2014年9月9日)这种时间是一个大忌

2,网页内容尽可能加上产出时间,也就是发布时间

3,百度site的结果时间和权重并无太多关系

4,跟百度沟通的时候,一定要条例清晰,证据确凿。自身的问题一定要先排查准确。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2015-07-21 15:22:04

BaiDuSpider百度蜘蛛占用流量,robots.txt设置

BaiDuSpider百度蜘蛛是百度搜索引擎的爬虫程序,负责抓取并建立Web页面的索引。百度蜘蛛会消耗服务器的流量和资源,对于一些限制流量的网站,可能会受到影响。为了控制百度蜘蛛的访问,可以使用robots.txt文件进行设置。 robots.txt文件是一种网站协议,用来告诉搜索引擎蜘蛛访问网站的规则。如果在网站根目录下没有设置robots.txt文件,搜索引擎蜘蛛将按照默认规则进行访问。为了

Public @ 2023-04-17 20:00:34

360搜索蜘蛛IP段及蜘蛛ip被拦截的问题解决方法

1. 360搜索蜘蛛的IP段可以通过搜索引擎或者防火墙等工具查询获得,一般包括以下几个IP段: 101.226.68.0/24 101.227.0.0/16 39.156.66.0/24 111.30.132.0/24 2. 如果发现360搜索蜘蛛的IP被拦截了,可以考虑以下几个解决方法: - 在防火墙或者网站安全设置中将360搜索蜘蛛的IP加入白名单; - 通过robots.txt文件进行

Public @ 2023-03-28 17:00:26

【院长帮帮忙】移动适配不稳定、不生效,可能是这些原因造成的!(第五期)

1. 平台兼容性问题:不同移动设备或操作系统的适配方式可能不同,需要适配的平台越多,问题也就越多。解决方案是在开发前进行充分的市场调研和测试,确保在主流平台上的适配稳定生效。 2. 分辨率适配问题:不同移动设备的屏幕分辨率不同,可能导致界面显示异常或排版错乱。解决方案是通过媒体查询、百分比布局等技术手段,使页面能够根据不同分辨率自动适配。 3. 浏览器兼容性问题:不同浏览器对于HTML、CSS

Public @ 2023-07-27 10:00:35

【院长帮帮忙】我的网站排名为什么突然下降?(第十期)

近期,院长收到许多站长的反馈,说自己运营的站点排名突然下降。有站长对照近期公布的细雨算法分析,认为是细雨算法的惩罚生效,影响了网站的流量。但情况真的是这样吗?现在就让院长来给你个说法吧!院长对近期反馈的case集中进行了分析,从反馈的问题来看,问题多集中在网站标题作弊,明确的说,是网站页面标题堆砌的行为导致的。自2017年9月起,百度搜索资源平台发布了清风算法、清风算法2.0 ,主要是针对标题作弊

Public @ 2021-03-04 15:22:02

更多您感兴趣的搜索

0.379033s