分享
 
 
 

AWStats: 跨平台的日志分析工具使用简介

王朝other·作者佚名  2006-01-08
窄屏简体版  字體: |||超大  

AWStats: 跨平台的日志分析工具

——在GNU/Linux和Windows平台上的使用简介

作者: 车东 Email: chedongATbigfoot.com/chedongATchedong.com

写于:2003/04 最后更新:

04/19/2003 11:42:54

版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本声明

http://www.chedong.com/tech/awstats.html

关键词:awstats web log analysis apache iis 日志 分析 open source

内容摘要:AWStats的使用简介和配置一些改进说明。

日志统计系统在站点的用户行为分析中扮演了重要的角色,尤其是对于来自搜索引擎的关键词访问统计:是很有效的用户行为分析数据来源。随着互联网多年的发展,WEB日志统计工具已经越来越成熟,功能也越来越丰富。其中有很多是开放源代码的,AWStats就是其中非常优秀的一款。

AWStats: Advanced Web Statistics

AWStats是最近发展很快的一个基于Perl的WEB日志分析工具。相对于另外一个非常优秀的开放源代码的日志分析工具Webalizer,AWStats的优势在于:

界面友好:可以根据浏览器直接调用相应语言界面(有简体中文版)

参考输出样例:http://awstats.sourceforge.net/cgi-bin/awstats.pl

基于Perl:并且很好的解决了跨平台问题,系统本身可以运行在GNU/Linux上或Windows上(安装了ActivePerl后);分析的日志直接支持Apache格式(combined)和IIS格式(需要修改)。Webalizer虽然也有Windows平台版,但目前已经缺乏维护;

AWStats完全可以实现用一套系统完成对自身站点不同服务器:GNU/Linux/Apache和Windows/IIS服务器的统一统计。

效率比较高:AWStats输出统计项目比Webalizer丰富了很多,速度仍可以达到Webalizer的1/3左右,对于一个日访问量百万级的站点,这个速度都是足够的;

配置/定制方便:系统提供了足够灵活但缺省也很合理的配置规则,需要修改的缺省配置不超过3,4项就可以开始运行,而且修改和扩展的插件还是比较多的;

AWStats的设计者是面向精确的"Human visits"设计的,因此很多搜索引擎的机器人访问都被过滤掉了,因此有可能比其他日志统计工具统计的数字要低,来自公司内部的访问也可以通过IP过滤设置过滤掉。

提供了很多扩展的参数统计功能:使用ExtraXXXX系列配置生成针对具体应用的参数分析会对产品分析非常有用。

更多与其他工具:Webalizer, analog的比较请参考:

http://awstats.sourceforge.net/#COMPARISON

AWStats安装备忘

AWStats的运行模式是这样的:

分析日志:运行后将这样的日志统计结果归档到一个AWStats的数据库(纯文本)里;

然后是输出:分两种形式

一种是通过cgi程序读取统计结果数据库输出;

一种是运行后台脚本将输出导出成静态文件;

以下是2个针对单个站点日志统计例子:

一个是在GNU/Linux上通过CGI方式的输出,

一个是在Windows 2000上的基于静态页面的导出

下载/安装http://sourceforge.net/projects/awstats/ 下载安装包后:

GNU/Linux:tar zxf awstats-5.4.tgz

#部署awstats cgi程序到/path/to/apache/cgi-bin/awstats

mv awstats-5.4/wwwroot/cgi-bin /path/to/apache/cgi-bin/awstats

#把图标icon目录复制到WEB发布目录下:/path/to/apache/htdocs/icon/

Windows 2000: 直接解包,然后移动到D:\AWStats目录下

把图标icon目录复制到IIS的发布目录下:inetpub/icon

数据源日志格式和按天的截断规则

对于Apache:日志格式好设置:设置成combined格式即可,日志截断麻烦一点:需要安装cronolog工具,将日志设置成按天截断:

CustomLog "|/usr/local/sbin/cronolog /path/to/apache/logs/access_%y%m%d.log" combined

比如:logs/access_030327.log logs/access_030326.log

对于IIS:缺省有比较好的日志按天截断规则,但是IIS的日志格式比较不适合AWStats统计,

因此最好直接去掉所有日志字段,然后严格按照以下列表设置

日期 date

时间 time

客户IP地址 c-ip

用户名 cs-username

方法 cs-method

URI资源 cs-uri-stem

协议状态 sc-status

发送字节数 sc-bytes

协议版本 cs-version

用户代理 cs(User-Agent)

参照 cs(Referer) 相比IIS缺省设置:

减少的有:

服务器IP地址

服务器端口

URI查询 增加的有:

发送字节数

协议版本

参照

配置文件的命名规则:awstats.sitename.conf

AWStats的主程序awstats.pl会自动根据站点名调用相应站点的配置文件:awstats.sitename.conf

比如:运行./awstats.pl -config=chedong 调用的就是同目录下的 awstats.chedong.conf 配置文件;

如果没有指定-config,还会找当前目录下的awstats.conf或者/etc/awstats.conf作为缺省配置文件。

所以最好把缺省的awstats.model.conf 重命名成 awstats.yoursite.conf;比如:awstats.chedong.conf,

对于多个站点的统计,AWStats的配置文件包含功能还是非常有用的,我们可以把通用的配置放在一个文档中,然后用5.4开始支持的Include配置将通用配置包含在各个具体配置文件的头部,然后用其他配置覆盖通用配置中的相应属性,比如:

Include="chedong.common.conf"

LogFile="/path/to/bbs/access_log"

SiteName="bbs.chedong.com"

最少的配置文件修改:LogFile SiteDomain LogFormat

对于在GNU/Linux上统计Apache日志只需修改:LogFile SiteDomain这2个选项

GNU/Linux LogFile="/path/to/apache/logs/access_%YY-24%MM-24%DD-24.log"

Windows 2000 LogFile="d:\iis_logs\W3SV3\ex%YY-24%MM-24%DD-24.log"

这个配置的意思是用24小时前的年份,月份,日期拼出的日志文件名;

SiteDomain="www.chedong.com"

站点的名称,缺省是空的,如果为空,AWStats将拒绝运行;

对于统计IIS日志需要多修改一个:

LogFormat=2

缺省值是1:Apache日志,2是IIS日志 其他需要注意的事项:

AWStats缺省不过滤swf文件,会把.swf算成PageView,所以如果站点上swf文件主要是广告的话最好还是要过滤掉:

日志分析./awstats.pl -update -config=sitename

比如:./awstats.pl -update -config=chedong

统计输出GNU/Linux http://localhost/cgi-bin/awstats/awstats.pl?config=chedong

Windows 2000 http://localhost/awstats/awstats.chedong.html

日志统计自动运行

GNU/Linux上:crontab -e: 每天8点10分运行

#update awstats

10 8 * * * (cd /path/to/apache/cgi-bin/awstats/; ./awstats.pl -update -config=chedong)

Windows 2000上:设置每天8点10分运行

D:\Perl\bin\perl.exe d:\AWStats\tools\awstats_buildstaticpages.pl -update -config=chedong -lang=cn -dir=c:\inetpub\awstats\ -awstatsprog=d:\awstats\wwwroot\cgi-bin\awstats.pl

多站点日志统计

AWStats自带了一个批处理工具:tools/awstats_updateall.pl,可以批量地遍历一个目录下所有地配置文件并运行统计。因此剩下的工作就主要是日志的同步问题了。

针对多个站点,很多配置选项是重复的,如果每个配置文件都修改维护起来会很麻烦,AWStats从5.4开始提供了配置文件包含的功能,所以我们可以配置一个通用配置,比如:chedong.common.conf

然后其他站点的配置设置为:可以通过后面的选项覆盖和缺省不一致的配置。

awstats.bbs.chedong.conf

Include "chedong.common.conf"

LogFile "/path/to/bbs_log"

SiteName "bbs.chedong.com"

awstats.www.chedong.conf

Include "chedong.common.conf"

LogFile "/path/to/www_log"

SiteName "www.chedong.com"

HostAliases="chedong.com"

统计指标说明

参观者:按来访者不重复的IP统计,一个IP代表一个参观者;

参观次数:一个参观者可能1天之内参观多次(比如:上午一次,下午一次),所以按一定时间内(比如:1个小时),不重复的IP数统计,参观者的访问次数;

网页数:不包括图片,CSS, JavaScript文件等的纯页面访问总数,但如果一个页面使用了多个帧,每个帧都算一个页面请求;

文件数:来自浏览器客户端的文件请求总数,包括图片,CSS,JavaScript等,用户请求一个页面是,如果页面中包含图片等,所以对服务器会发出多次文件请求,文件数一般远远大于文件数;

字节:传给客户端的数据总流量;

来自REFERER中的数据:日志中的参考(REFERER)字段,记录了访问相应网页之前地址,因此如果用户是通过搜索引擎的搜索结果点击进入网站的,日志中就会有用户在相应搜索引擎的查询地址,这个地址中就可以通过解析将用户查询使用的关键词提取出来:

比如:

2003-03-26 15:43:58 123.123.123.123 - GET /index.html 200 192 HTTP/1.1 Mozilla/4.0+(compatible;+MSIE+5.01;+Windows+NT+5.0) http://www.google.com/search?q=chedong

AWStats在搜索引擎的关键短语和关键词统计方面的功能还是比较完整的:可以对全世界3百多种机器爬虫进行识别,并且可以识别大部分主流国际化搜索引擎和很多地区的本地语言搜索引擎。

Hacking AWStatsIIS按GMT时间的补丁:awstats.pl

IIS的日志时间是格林威治之间,中国本地时间和GMT有+8个小时差距,如果直接用TIMEZONE插件从格林威治时间转换会有40%的性能下降,这里有一个将时间按本地时间修改时间坐标的补丁:

7696d7695

< my $TIME_ZONE = 8;

7698,7702c7697

< my $ix_local = $ix + $TIME_ZONE;

< if ($ix_local >= 24) {

< $ix_local = $ix_local - 24;

< }

< print "<TH width=19>$ix_local</TH>\n"; # width=19 instead of 18 to avoid a MacOS browser bug.

---

> print "<TH width=19>$ix</TH>\n"; # width=19 instead of 18 to avoid a MacOS browser bug.

7708,7712c7703

< my $ix_local = $ix + $TIME_ZONE;

< if ($ix_local >= 24) {

< $ix_local = $ix_local - 24;

< }

< my $hr= $ix_local + 1 ; if ($hr>12) { $hr=$hr-12; }

---

> my $hr=($ix+1); if ($hr>12) { $hr=$hr-12; }

针对中文搜索引擎的补丁:

AWStats的搜索引擎中缺省没有中文搜索引擎的定义,因此会漏掉很多来自国内主流搜速引擎的统计:3721,搜狐,新浪,百度,网易等,以下是针对这些的补丁:cgi-bin/lib/search_engine.pm

58a59,60

> # Minor Chinese search engines

> "baidu\.", "163\.com", "sohu\.","sina\.","3721\.com",

140a143,148

> # Minor Chinese search engines

> "baidu\.","word=",

> "sina\.", "word=",

> "sohu\.","word=",

> "163\.com","q=",

> "3721\.com","name=",

228a237,238

> # Minor Chinese search engines

> "baidu\.","Baidu", "163\.com","NetEase","sina\.","Sina","sohu\.","Sohu","3721\.com","3721",

针对Google的Unicode查询补丁:

因为Google对于Windows 2000上的IE浏览器缺省发送的查询都是UTF-8格式的,而其他搜索引擎大部分使用的是系统本地编码:GB2312,因此需要将查询URI解码后,还要根据是否使用UTF-8进行到GB2312的转码,否则同样的单词会在统计中留有UTF-8和GB2312两条记录。

15,16c15,16

< use Encode;

< use URI::Escape;

---

>

>

5692,5694d5691

< #UTF-8 encoding detection

< my $UnicodeDetected = 0;

< my $SearchQuery = "";

5696,5701d5692

< # Google use: ie=utf-8

< # AllTheWeb use: cs=utf-8

< if ($param eq "ie=utf-8" || $param eq "cs=utf-8") {

< $UnicodeDetected = 1;

< }

<

5704d5694

< $param = uri_unescape($param);

5708,5712c5698,5700

< $param =~ s/^ +//;

< $param =~ s/ +$//;

< $param =~ tr/ /\+/s;

< $param =~ s/\+/ /s;

< $SearchQuery = $param;

---

> $param =~ s/^ +//; $param =~ s/ +$//; $param =~ tr/ /\+/s;

> if ((length $param) > 0) { $_keyphrases{$param}++; }

> last;

5714,5719d5701

<

< }

< #decoding unicode to GBK

< if ( $UnicodeDetected ) {

< $SearchQuery = decode("utf-8", $SearchQuery);

< $SearchQuery = encode("euc-cn", $SearchQuery);

5721,5722d5702

< print "$SearchQuery\n";

< if ((length $SearchQuery) > 0) { $_keyphrases{$SearchQuery}++; }

AWStats本身也包含了很多插件,包括将多个站点的统计再次汇总输出,IIS日志时间转换,URL的标题映射等;

http://awstats.sourceforge.net/awstats_contrib.html

参考资料:

AWStats:

http://awstats.sourceforge.net/

Webalizer:

http://www.webalizer.org/

日志分析工具:

http://directory.google.com/Top/Computers/Software/Internet/Site_Management/Log_Analysis/

商业日志统计/分析工具

http://directory.google.com/Top/Computers/Software/Internet/Site_Management/Log_Analysis/Commercial/

多站点的日志合并统计:

http://www.chedong.com/tech/rotate_merge_log.html

原文出处:<a href="http://www.chedong.com/tech/awstats.html">http://www.chedong.com/tech/awstats.html</a>

<<返回

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
 
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有