awk分析日志得到响应时间的最大最小和平均值 - 快车库

今天有个分析日志的需求,要获得指定的几个请求的响应时间的最大值，最小值和平均值

从nginx配置中找到日志的格式如下：

log_format _main '$remote_addr "$time_iso8601" $request_method "$uri" "$args" "$request_body" $status $body_bytes_sent $request_time "$http_user_agent"';

倒数第二项$request_time即为响应时间

实际日志截取部分如下，域名换掉了：

10.100.27.171 "2015-08-01T00:00:02+08:00" GET "/interface/ipad_v3/sub_channels" "cid=85&ver=3.9.5" "-" 200 588 0.003 "api.3g.example.com/3.0"
10.100.27.172 "2015-08-01T00:00:02+08:00" GET "/interface/ios_v3/sub_channel_details_with_playlist" "sub_channel_id=227&ver=3.9" "-" 200 2912 0.334 "api.3g.example.com/3.0"
10.100.27.172 "2015-08-01T00:00:02+08:00" GET "/interface/android_v3/sub_channel_details" "sub_channel_id=107&show_game_information=1&ver=4.8" "-" 200 3480 0.129 "api.3g.example.com/3.0"

日志文件名格式大概是log.20150801这样的，我打算把脚本和日志放一个文件夹下
一开始函数是这么写的，需要注意的是，$1既能表示shell函数的第一个参数，又能表示awk中的第一个域，有冲突。所以用'"$1"'，用'将前面的句子关闭，然后在""中插入shell的参数$1，再用'开启后面的句子；也可以用awk -v needle="$1"这种赋值替换方式

#! /bin/bash

function get_min(){
        ls | grep 'log.' | xargs cat | awk '$7==200 && $4 ~/^"'"$1"'/{print "Min = ", $9}' | sort -n -k 2  |   head -1
}

function get_max() {
        ls | grep 'log.' | xargs cat | awk '$7==200 && $4 ~/^"'"$1"'/{print "Max = ", $9}' | sort -rn -k 2  |   head -1
}

function get_avg() {
        ls | grep 'log.' | xargs cat | awk '$7==200 && $4 ~/^"'"$1"'/{sum+=$9} END {print "Average = ", sum/NR}'
}

最容易想到的，明显不是最优的，代码很冗余。将文件遍历一次，最大最小和平均都可以计算出来的，再不济，最大值和最小值其实在排序之后就出来了，可以这样用sed输出两条记录

awkfunction get_min_and max {
    ls | grep 'log.' | xargs cat | awk '$8=200 && $4 ~/^"'"$1"'/{print $9}' | sort -n -k 2  |   sed -n '1p;$p'
}

仔细研究了下awk，最后的代码是这样的

awk#! /bin/bash

function cal_work(){
        ls | grep 'log.' | xargs cat | awk   'BEGIN{max=0;min=1}
                {if ($4 ~ /^"'"$1"'/  && $(NF-3)==200){
                        sum+=$9; count+=1;
                        if($9 > max) max=$9 fi;if($9 < min) min=$9 fi;
                    }
                }
                END {print "Average = ", sum/count;print "Max = ", max;print "Min", min}'
}

function get_stat(){
        target=$1
        target=${target//\//\\/}
        cal_work $target
}

get_stat '/interface/ipad_v3/sub_channels'

要查询的path中有斜杠，斜杠前要加'\'转义，这一步在get_stat中进行