Categories


Tags


搜索引擎蜘蛛对于网站抓取是否很智能?如何引导蜘蛛?

尽管搜索引擎在不断的升级算法,但是终究其还是程序,因此我们在布局网站结构的时候要尽可能的让搜索引擎蜘蛛能看的懂。每个搜索引擎蜘蛛都有自己的名字,在抓取网页的时候,都会向网站标明自己的身份。搜索引擎蜘蛛在抓取网页的时候会发送一个请求,这个请求中就有一个字段为User-agent,用于标识此搜索引擎蜘蛛的身份。

例如Google搜索引擎蜘蛛的标识为GoogleBot,百度搜索引擎蜘蛛的标识为Baidu spider,Yahoo搜索引擎蜘蛛的标识为Inktomi Slurp。如果在网站上有访问日志记录,网站管理员就能知道,哪些搜索引擎的搜索引擎蜘蛛过来过,什么时候过来的,以及读了多少数据等等。如果网站管理员发现某个蜘蛛有问题,就通过其标识来和其所有者联系。

搜索引擎蜘蛛进入一个网站,一般会访问一个特殊的文本文件Robots.txt,这个文件一般放在网站服务器的根目录下,网站管理员可以通过robots.txt来定义哪些目录搜索引擎蜘蛛不能访问,或者哪些目录对于某些特定的搜索引擎蜘蛛不能访问。例如有些网站的可执行文件目录和临时文件目录不希望被搜索引擎搜索到,那么网站管理员就可以把这些目录定义为拒绝访问目录。Robots.txt语法很简单,例如如果对目录没有任何限制,可以用以下两行来描述。

User-agent: *

Disallow:

当然,Robots.txt只是一个协议,如果搜索引擎蜘蛛的设计者不遵循这个协议,网站管理员也无法阻止搜索引擎蜘蛛对于某些页面的访问,但一般的搜索引擎蜘蛛都会遵循这些协议,而且网站管理员还可以通过其它方式来拒绝搜索引擎蜘蛛对某些网页的抓? ?

搜索引擎蜘蛛在下载网页的时候,会去识别网页的HTML代码,在其代码的部分,会有META标识。通过这些标识,可以告诉搜索引擎蜘蛛本网页是否需要被抓取,还可以告诉搜索引擎蜘蛛本网页中的链接是否需要被继续跟踪。例如:表示本网页不需要被抓取,但是网页内的链接需要被跟踪。

现在一般的网站都希望搜索引擎能更全面的抓取自己网站的网页,因为这样可以让更多的访问者能通过搜索引擎找到此网站。为了让本网站的网页更全面被抓取到,网站管理员可以建立一个网站地图,即Site Map。许多搜索引擎蜘蛛会把sitemap.htm文件作为一个网站网页爬取的入口,网站管理员可以把网站内部所有网页的链接放在这个文件里面,那么搜索引擎蜘蛛可以很方便的把整个网站抓取下来,避免遗漏某些网页,也会减小对网站服务器的负担。(Google专门为网站管理员提供了XML的Sitemap)

搜索引擎建立网页索引,处理的对象是文本文件。对于搜索引擎蜘蛛来说,抓取下来网页包括各种格式,包括html、图片、doc、pdf、多媒体、动态网页及其它格式等。这些文件抓取下来后,需要把这些文件中的文本信息提取出来。准确提取这些文档的信息,一方面对搜索引擎的搜索准确性有重要作用,另一方面对于搜索引擎蜘蛛正确跟踪其它链接有一定影响。

对于doc、pdf等文档,这种由专业厂商提供的软件生成的文档,厂商都会提供相应的文本提取接口。搜索引擎蜘蛛只需要调用这些插件的接口,就可以轻松的提取文档中的文本信息和文件其它相关的信息。

HTML等文档不一样,HTML有一套自己的语法,通过不同的命令标识符来表示不同的字体、颜色、位置等版式,如:、、等,提取文本信息时需要把这些标识符都过滤掉。过滤标识符并非难事,因为这些标识符都有一定的规则,只要按照不同的标识符取得相应的信息即可。但在识别这些信息的时候,需要同步记录许多版式信息。

除了标题和正文以外,会有许多广告链接以及公共的频道链接,这些链接和文本正文一点关系也没有,在提取网页内容的时候,也需要过滤这些无用的链接。例如某个网站有“产品介绍”频道,因为导航条在网站内每个网页都有,若不过滤导航条链接,在搜索“产品介绍”的时候,则网站内每个网页都会搜索到,无疑会带来大量垃圾信息。过滤这些无效链接需要统计大量的网页结构规律,抽取一些共性,统一过滤;对于一些重要而结果特殊的网站,还需要个别处理。这就需要搜索引擎蜘蛛的设计有一定的扩展性。


Public @ 2020-07-03 16:22:36

sogou spider 喜欢收录什么样的页面

内容优良而独特的页面。如果您的页面内容和互联网上已存在的其他页面有高度的相似性,可能不会被 sogou spider 收录。链接层次较浅的页面。过深的链接层次,尤其是动态网页的链接,会被丢弃而不收录。如果是动态网页,请控制参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面,越有可能被 sogou spider 丢弃。来源:搜狗资源平台

Public @ 2021-05-15 15:38:49

什么是模拟蜘蛛抓取

模拟蜘蛛抓取是指通过计算机程序对蜘蛛行为进行模拟,实现自动化抓取网页内容的过程。蜘蛛抓取通常用于搜索引擎、数据挖掘、网络爬虫等应用,通过模拟蜘蛛的方式,可以自动遍历互联网上的网页,提取其中的信息,例如网页的标题、正文内容、链接等。 模拟蜘蛛抓取的过程通常分为以下几个步骤: 1. 初始URL列表:确定起始的URL列表,作为开始抓取的入口。 2. 发送HTTP请求:程序向目标URL发送HTTP请求,

Public @ 2023-07-24 01:00:31

网站抓取了一些不存在的目录跟页面?

网站管理者可以使用301重定向来解决这个问题,该技术会将搜索结果重定向到有效的页面,从而避免访问不存在的页面,提高网站的加载速度。此外,网站管理者可以使用网络爬虫进行定期的审查,以发现不存在的目录和页面,以及确保符合标准的内容。

Public @ 2023-02-24 11:00:15

各搜索引擎蜘蛛介绍

搜索引擎蜘蛛是搜索引擎的一个自动程序。它的作用是访问互联网上的网页、图片、视频等内容,建立索引数据库,使用户能在搜索引擎中搜索到您网站的网页、图片、视频等内容。一般用法为“ spider+URL”,后面的URL(网址)是搜索引擎的痕迹,如果要查看某搜索引擎是否来爬取过你们的网站,可查看服务器的日志里是否有该URL,同时还能查看来的时间、频率等…1、百度蜘蛛:可以根据服务器的负载能力调节访问密度,大

Public @ 2011-05-10 16:22:33

更多您感兴趣的搜索

0.480536s