[转]线上环境性能数据统计方法

最新推荐文章于 2024-10-11 23:03:36 发布

原创最新推荐文章于 2024-10-11 23:03:36 发布 · 136 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Access #Apache #脚本 #C #C++

本文介绍如何利用Web服务器的日志文件（access.log）进行关键指标的统计与分析，包括PV统计、调用次数Top10 URL、单个URL响应时间及TPS统计等。

部署运行你感兴趣的模型镜像

PV统计
统计生产环境一台web服务器一天的access.log的行数
比如$ wc -l access.log

调用次数Top 10 URL
这个也是通过access.log的分析得出，可以采用以下脚本（基于你自己的access.log的format）
cat access.log | awk '{print $8}' | awk -F'?' '{print $1}' | sort | uniq -c | sort -nr | head -n 50

输出：
315179 /xxxxx.htm
143224 /xxxxx.htm
...

统计单个URL的响应时间
再次借助于access.log(非常有用的日志文件)，例如我的access.log的format为
LogFormat "%h %{ORIG_CLIENT_IP}i %l %u %t \"%m /%{HOST}i%U%q %H\" %>s %b %D \"%{Referer}i\" \"%{User-Agent}i\" %{apache_id}n %{apache_sid}n \"a=%{apache_track}n; b=%{apache_tracktmp}n; c=%{resin_trace}n\" %{server_name}n" access.log
其中(%D 表示服务器处理时间，单位微秒)

使用此脚本
grep 'atell/view.htm' access.log|awk '{sum+=$12} END {print "Average = ", sum/NR}'
结果：Average = 256262（微秒）

TPS的统计，也可以通过cookie_log统计出，如下脚本即可

cat access.log | awk '{print $5}' | sort | uniq -c | sort -nr | head -n 10
输出：
     76 [14/Mar/2011:10:26:14
     76 [14/Mar/2011:09:40:48
     75 [14/Mar/2011:09:40:20
     74 [14/Mar/2011:17:51:12
     74 [14/Mar/2011:09:10:25
     72 [14/Mar/2011:17:51:11

基调时间

何为基调？可以移步至此：http://www.networkbench.com/index.html