Categories


Tags


怎样看原始日志文件

读者hiisee问

请问如何用PHP脚本在后台获取蜘蛛的详细信息呀?如哪里的蜘蛛/何时来的/搜索了哪几个页面/哪些它喜欢哪些不喜欢等,和判断浏览器是不是用一样的技术?谢谢,再次麻烦您了.

刚好关于流量统计和分析以前还没有谈过,这两天分几个方面专门谈一下。今天先来谈作为SEO,怎样读服务器原始日志文件(server raw logfile)。

网站服务器会把每一个访客来访时的一些信息自动记录下来,存在服务器原始日志文件中。

一般主机提供商会在控制面板提供给你下载这个文件,如果你的主机提供商不提供原始日志文件的话,你就该换地方了。

原始日志文件只是一个纯文字形式的文件,只要用文字编辑软件如WordPad或Notepad打开就可以了。

下面是我从上个月这个blog本身的日志文件中随机选取的一行,我们来看一下它包括哪些信息:

221.201.77.63 – – [02/Jul/2006:15:30:41 +0800] “GET /seoblog/2006/04/17/user-friendly-website/ HTTP/1.1” 200 19031 “http://www.baidu.com/s?

wd=PRADA%B9%D9%B7%BD%CD%F8%D5%BE&cl=3” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Alexa Toolbar)”

(注:虽然上面是很久以前的日志中的一段,但现在的日志文件所包含的信息格式是一样的,完全没有变化)

用户IP地址

221.201.77.63

这是访问人所使用的IP 地址,能够告诉你来访的人来自什么地理位置。如果你查一下这个IP地址所属位置,可以看到这位访客来自中国北京。

日期/时间

02/Jul/2006:15:30:41

这是某一个文件被访问的时间,和IP地址结合起来,你就可以跟踪某一个特定的用户,从一个网页到另一个网页的访问顺序。

时区

+0800

这个数字是相对格林威治时间的时区差多少,北京处于东8区。

服务器动作

GET /seoblog/2006/04/17/user-friendly-website/ HTTP/1.1

服务器要做的动作要么是GET,要么是POST。除了一些CGI脚本外,通常都应该是GET,也就是从服务器上获取某个网页或图片文件。

例子里的这行意思就是按HTTP/1.1协议(protocol)获取文件/seoblog/2006/04/17/user-friendly-website/

返回状态码

200

下一行是服务器反应是否成功。200就是说成功获取了文件,如果是返回了404,就是文件没有找到。401是需要密码,403禁止查看,500服务器错误,当然还有其他很多服务器状态码。

文件大小

19031

这一行指的是所获取的文件大小,在我们的来自例子里是19031 byte。

访客来源

http://www.baidu.com/s?wd=PRADA%B9%D9%B7%BD%CD%F8%D5%BE&cl=3

这一段是告诉我们访客是从哪里来到这一个网页。有可能是同一个网站的其他页,有可能是来自搜索引擎的搜索页,也可能是来自其它网站的链接。

例子里的是来自百度,搜索关键词是”PRADA官方网站”。

这段信息以前是非常重要的,流量分析系统可以从这个信息统计出搜索用户是搜索了什么关键词访问你的网站。可惜的是,现在所有搜索引擎都已经屏蔽了这段关键词信息,我们只能知道流量来自哪个搜索引擎,无法知道是来自什么关键词。

浏览器类型

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Alexa Toolbar)

这最后一段所表示的是浏览器和用户电脑的一些信息。

比如上面这一段所表示的是用户所使用的电脑是与Netscape兼容的Mozilla浏览器,Windows NT操作系统,浏览器是IE6.0,装有Alexa Toolbar。

在这一段如果用户使用的是其他类型电脑或浏览器,或者来访问的是搜索引擎蜘蛛,你还可能看到这些代码:

Baiduspider+(+http://www.baidu.com/search/spider.htm)

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; Maxthon; Alexa Toolbar)

http://www.gougou.com RSS Online Reader

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

意义不用解释,一看就知道了。

跟踪用户轨迹

这是很多网站运行者需要研究的地方。

从日志文件中剔除对图片的访问,剔除中间插进来的其他访客的信息,只把来自某一个IP地址的用户在一段时间内所看的网页列出来,我们就能看到这个用户在你的网站上都做了哪些行动,看了哪些网页。

用户行为信息给网站运行者提供很大的帮助。

来源:seo每天一贴 Zac 昝辉


Public @ 2013-10-12 15:32:49

网站SEO优化中这8种情况要注意,可能面临被降权

无论是作为SEO优化师还是网站管理员,都不可避免地会受到搜索引擎的惩罚。事实上,这种情况是正常的,网站受到搜索引擎的惩罚,比较常见的原因是由于内容和链接,如短时间内收录大量内容,发送过多的链接或购买链接。那么,哪些网站会受到搜索引擎的惩罚呢?1、收录量大幅下降从百度搜索资源平台上看,如果指数数据下降很多,比如减半或下降超过70%。但是,在这种情况下,一般建议将流量数据与视图进行比较。如果流量数据保

Public @ 2017-06-14 15:56:33

做外贸SEO时文章编辑需要注意哪些?外贸文章编辑技巧

众所周知,网站在做SEO需要按时更新文章的,这项工作是至关重要的,文章质量的好坏直接影响到你网站的权重,今天小编给大家讲述一下外贸SEO在编辑文章中的技巧:一、文章标题书写一般来说,小标题是放置关键词很好的地方.你可以将小标题内容包含到标签里面,如果你的文章比较长,也可以适当添加2个tag标签,这个办法对于搜素引擎优化很有帮助的,而且提升了网页的易用性,增加了引擎搜索的几率。二、关联词与同义词高质

Public @ 2013-06-07 15:25:18

网站日志的分析是每个SEO人员的必备技能之一

每个做SEO的站长们都应该基本分析网站日志的能力。因为通过网站的日志可以分析出搜索引擎蜘蛛的动态,用户访问的动态,以及发现网站哪些链接存在异常。网站日志的分析和诊断就像给网站看病一样,我们通过网站日志的分析,可以更加清楚的知道网站的健康状况,可以利于这些数据让我们更好的做网站SEO优化。下面就和大家说下日志分析的一些事项:常见的蜘蛛名称:Baiduspider;Baiduspider-Image;

Public @ 2010-03-02 15:32:51

什么是网站日志?网站日志分析怎么进行?

网站日志是指记录网站访问活动和其他相关信息的文件。它包含了网站的访问者数量、访问时间、访问来源、访问页面、访问设备等信息。网站日志分析是对这些日志进行统计和分析,以获取对网站访问情况和用户行为的深入了解。 网站日志分析可以通过以下步骤进行: 1. 收集日志:将网站生成的访问日志保存在服务器或第三方工具中。 2. 清理和格式化:对日志进行清理和格式化,去除无用信息,确保数据的准确性和一致性。 3.

Public @ 2023-07-24 22:00:30

更多您感兴趣的搜索

0.524821s