Categories


Tags


巧用Robots避免蜘蛛黑洞

对于百度搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。

比如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜索引擎大量抓取,而这其中很大一部分检索价值不高,如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配额。那么该如何避免这种情况呢?

我们以北京某团购网站为例,看看该网站是如何利用robots巧妙避免这种蜘蛛黑洞的:

对于普通的筛选结果页,该网站选择使用静态链接,如:http://bj.XXXXX.com/category/zizhucan/weigongcun

同样是条件筛选结果页,当用户选择不同排序条件后,会生成带有不同参数的动态链接,而且即使是同一种排序条件(如:都是按销量降序排列),生成的参数也都是不同的。如:http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

对于该团购网来说,只让搜索引擎抓取筛选结果页就可以了,而各种带参数的结果排序页面则通过robots规则拒绝提供给搜索引擎。

robots.txt的文件用法中有这样一条规则:Disallow: /*?* ,即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式,对Baiduspider优先展示高质量页面、屏蔽了低质量页面,为Baiduspider提供了更友好的网站结构,避免了黑洞的形成。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2020-05-11 16:08:55

首页链接的优化

在网络营销实战密码读者交流网站上,一个朋友问了一个关于首页链接的问题:关于网站的逻辑结构,应该是和树型物理结构相吻合,也就是也就是由首页到末端的发散,但是和物理结构不一样的是,每个频道和内容页都应该链接回主页,以加重主页的权重。使得整个网站的权重呈金字塔分布。而在导航中不同频道的链接文字描述应该准确描述该栏目的内容,这是很容易理解的。但是我感觉在大多数的网站中,链回主页的文字基本都是 “主页”,“

Public @ 2016-09-21 16:11:24

IIS网站服务器性能优化指南

IIS网站服务器性能优化指南: 1. 优化硬件配置:增加CPU、内存、硬盘容量和网络带宽,以提高IIS网站服务器的吞吐和响应速度。 2. 优化IIS配置:调整IIS的连接和请求限制、缓存策略和安全设置,以提高网站的性能和可靠性。 3. 优化网站设计:采用有效的页面设计、清除过度的HTML、CSS和JavaScript代码、优化图片和多媒体,以减少资源的下载和浏览器的解析时间。 4. 优化数

Public @ 2023-03-30 11:00:33

robot.txt在SEO中的作用

在进行网站优化的时候,经常会使用robots文件把一些内容不想让蜘蛛抓取,以前写过一篇网站优化robots.txt文件的运用 现在写这篇文章在补充一点点知识!什么是robots.txt文件搜索引擎通过一种爬虫spider程序(又称搜索蜘蛛、robot、搜索机器人等),自动搜集互联网上的网页并获取相关信息。鉴于网络安全与隐私的考虑,搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件r

Public @ 2020-01-26 16:09:04

更多您感兴趣的搜索

0.433639s