Categories


Tags


巧用Robots避免蜘蛛黑洞

对于百度搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。比如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜索引擎大量抓取,而这其中很大一部分检索价值不高,如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,

Public @ 2020-05-11 16:08:55

死链示例展示中,死链链接、死链前链、锚文本、发现时间分别代表什么含义

死链链接:Baiduspider在尝试抓取该网页时,该网页返回了404代码; 目前死链链接只针对协议死链,后续会陆续增加跳转死链和内容死链。死链前链:从该网页经过一次点击即可到达当前死链链接,称该网页为当前死链链接的前链,即死链前链。锚文本:在死链前链这个网页上发现的对应该死链链接的文本信息。发现时间:Baiduspider最近一次抓取该死链链接的时间。来源:百度搜索资源平台 百度搜索学堂

Public @ 2022-04-29 15:36:57

更多您感兴趣的搜索

0.556619s