Categories


Tags


如何和搜索引擎爬虫对话

抓取策略:那些网页是我们需要去下载的,那些是无需下载的,那些网页是我们优先下载的,定义清楚之后,能节省很多无谓的爬取。更新策略:监控列表页来发现新的页面;定期check 页面是否过期等等。抽取策略:我们应该如何的从网页中抽取我们想要的内容,不仅仅包含最终的目标内容,还有下一步要抓取的url.抓取频率:我们需要合理的去下载一个网站,却又不失效率。

让我对“如何和爬虫对话 ”这个课题有了一些思考,下面归纳的主要用于迎合上面提到的爬虫“抓取策略”。

1、通过 robots.txt 和爬虫对话:搜索引擎发现一个新站,原则上第一个访问的就是 robots.txt 文件,可以通过 allow/disallow 语法告诉搜索引擎那些文件目录可以被抓取和不可以被抓取。

关于 robots.txt 的详细介绍:about /robots.txt另外需要注意的是:allow/disallow 语法的顺序是有区别的

2、通过 meta tag 和爬虫对话:比如有的时候我们希望网站列表页不被搜索引擎收录但是又希望搜索引擎抓取,那么可以通过 <meta name=“robots” content=“noindex,follow”> 告诉爬虫,其他常见的还有 noarchive,nosnippet,noodp 等。

3、通过 rel=“nofollow” 和爬虫对话:关于 rel=“nofollow” 最近国平写了一篇文章《如何用好 nofollow》很值得一读,相信读完之后你会有很大的启发。

4、通过 rel=“canonical” 和爬虫对话:关于 rel=“canonical” 谷歌网站站长工具帮助有很详细的介绍:深入了解 rel=“canonical”

5、通过网站地图和爬虫对话:比较常见的是 xml 格式 sitemap 和 html 格式 sitemap,xml 格式 sitemap 可以分割处理或者压缩压缩,另外,sitemap 的地址可以写入到 robots.txt 文件。

6、通过网站管理员工具和搜索引擎对话:我们接触最多的就是谷歌网站管理员工具,可以设定 googlebot 抓取的频率,屏蔽不想被抓取的链接,控制 sitelinks 等,另外,Bing 和 Yahoo 也都有管理员工具,百度有一个百度站长平台,内测一年多了仍旧在内测,没有邀请码无法注册。

另外,这里面还衍生出一个概念,就是我一直比较重视的网站收录比,所谓网站收录比=网站在搜索引擎的收录数/网站真实数据量,网站收录比越高,说明搜索引擎对网站的抓取越顺利。

暂时就想到这些,目的在于尝试性的探讨如何更有效的提高网站在搜索引擎的收录量。

权当抛砖引玉,欢迎各位补充!

备注:

网络爬虫(web crawler)又称为网络蜘蛛(web spider)是一段计算机程序,它从互联网上按照一定的逻辑和算法抓取和下载互联网的网页,是搜索引擎的一个重要组成部分。

本文作者:Bruce,原文地址。

来源:月光博客


Public @ 2017-01-01 16:22:28

轻松两步,正确识别百度蜘蛛(User-Agent)

步骤1:查看日志 首先,我们需要查看网站的访问日志。在日志中,我们可以看到每个请求的详细信息,包括访问者的IP地址、请求的页面、时间戳和User-Agent(用户代理)等信息。 User-Agent是用来识别客户端的应用程序类型和版本号的字符串。在百度蜘蛛访问网站时,其User-Agent通常会包含“Baiduspider”关键词。因此,通过查看日志,我们可以很容易地识别是否有百度蜘蛛在访问我

Public @ 2023-04-06 11:00:21

我不想我的网站被Baiduspider访问,我该怎么做?

您可以在网站的 robots.txt 文件中添加以下内容,以阻止 Baiduspider 访问您的网站: User-agent: Baiduspider Disallow: / 这会告诉 Baiduspider 不要访问您的整个网站。请注意,这也可能会阻止其他搜索引擎的访问。如果您只想阻止 Baiduspider 的访问,可以使用以下代码: User-agent: Baiduspider D

Public @ 2023-05-31 13:50:13

吸引蜘蛛抓取的影响因素

1、网站和页面权重。质量高,资格老的网站被认为权重比较高,这种网站上的页面被爬行的深度也会比较高,所以会更多内页被收录。2、与首页点击距离。一般来说网站上权重最高的是首页,大部分外部链接是指向首页的,蜘蛛访问最频繁的也是首页。离首页点击距离近,页面权重越高,被蜘蛛爬行的机会也越大。3、导入链接。无论是外部链接还是同一个网站的内部链接,要被蜘蛛抓取,就必须有导入链接进入页面,否则蜘蛛根本没有机会知道

Public @ 2017-12-02 16:22:35

Google爬行缓存代理(crawl caching proxy)

Google爬行缓存代理是Google搜索引擎通过代理服务器对网站进行爬行并缓存网页内容的一种技术。该技术可提高网站的访问速度和稳定性,同时也有利于搜索引擎的优化。 当用户访问一个网站时,Google爬行缓存代理会首先检查其缓存中是否有该网站的内容,如果有,则将缓存中的内容返回给用户;如果没有,则该代理服务器会向该网站服务器发送请求,并将获取到的内容缓存起来,以备将来的访问。 Google爬行

Public @ 2023-06-08 01:50:10

更多您感兴趣的搜索

0.476230s