一道shell 题引发的感想

最新推荐文章于 2024-05-14 16:27:30 发布

原创最新推荐文章于 2024-05-14 16:27:30 发布 · 226 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#shell 脚本处理文件

shell脚本专栏收录该内容

0 篇文章

订阅专栏

本文介绍了一种使用Shell脚本分析日志文件的方法，旨在计算特定接口的平均响应时间，并通过多文件对比筛选出有效接口，最终按平均响应时间总和排序，选取前五名。涉及关键字匹配、响应时间计算及文件处理技巧。

一、题目如下

./linux_learn/homework中有多个目录，针对每个目录中的两个文件，计算出平均响应时间和（平均1+平均2）排名前5的有效接口，有效接口定义如下：

•包含关键字“xxx”(参数1)或者“yyy”（参数2）；

•平均响应时间>10ms（参数3）;

•接口同时存在两个文件中；

要求：

•每个目录计算出的结果第一行和最后一行用******分割

•只展示服务名称方法名称平均响应时间1 平均响应时间2

•参数为关键字和平均响应时间，需校验参数

•可以用sh homework.sh xxx yyy 10 执行

目录为

./dubbo1/dubbo1-1
./dubbo1/dubbo1-2

./dubbo2/dubbo2-1
./dubbo2/dubbo2-2

运行结果如下图

二、分析

日志的内容如下，elapsed[2] 是响应时间是2毫秒：

这个题目是计算处理我们的日志文件计算平均响应时间最高的接口；可以分为以下几步

1.分别处理文件dubbo1-1 和dubbo1-2，找到包含"xxx"或"yyy"的接口，

2.分别求出每个文件、每个接口的平均响应时间，

3.对比聚合文件dubbo1-1 和dubbo1-2，筛选出两个文件都存在的接口，结果如：服务名方法名文件1中平均时间文件2中平均时间

4.在按照平均时间1+平均时间2之和排序，取前5.

脚本如下：

#!/bin/bash

HOME=./
doubb11="$HOME"/dubbo1/dubbo1-1
doubb12="$HOME"/dubbo1/dubbo1-2
doubb21="$HOME"/dubbo2/dubbo2-1
doubb22="$HOME"/dubbo2/dubbo2-2

FILE=file
RESULT=result

# 参数校验
parm_num=$#

if [ "$parm_num" -ne 3 ]; then
	echo "参数必须为3个"
	exit 1
fi

keyword1=$1
keyword2=$2
escape_time=$3

if  [[ ! "$keyword1" =~ ^[a-zA-Z]+$ ]]; then
	echo "第1个参数必须是字母"
	exit 1
fi

if [[ ! "$keyword2" =~ ^[a-zA-Z]+$ ]]; then
	echo "第2个参数必须是字母"
	exit 1
fi

if [[ ! "$escape_time" =~ ^[0-9]+([.]{1}[0-9]+){0,1}$  ]]; then
	echo "第3个参数必须是大于0的数"
	exit 1
fi


file_array=(["0"]="$doubb11" ["1"]="$doubb12" ["2"]="$doubb21" ["3"]="$doubb22")


# 校验处理文件是否在当前目录存在
for  ((i=0;i<${#file_array[@]};i++)); do
if [ ! -f "${file_array[$i]}" ] ; then
	echo "当前文件夹下不存在需要处理的文件"
    exit 1
fi
done

# 求每个目录的平均值
for  ((i=0;i<${#file_array[@]};i++)); do

    doubbo_file=${file_array[$i]}
	cat  $doubbo_file|awk '{print $17 ,$18 ,$12}'| sed 's/:[0-9.]*//g;s/(.*)//g;s/elapsed\[//g;s/\]//g'|awk -F '.' '{print $NF}'|grep -Ei "$keyword1|$keyword2"|sort -k1,1 -k2,2 -k3,3n|uniq -c |awk '{s[$2" "$3] += $4*$1 ; a[$2" "$3] += $1} END {for (i in s) { print i,s[i],a[i]} }'|awk '{print $1,$2,$3/$4}' >"$HOME""$FILE""$i"
done
# 聚合文件，平均1和平均2的时间取前5
echo \********************************************* > "$HOME""$RESULT"

awk 'NR==FNR{a[$1" "$2]=$0}NR>FNR{print a[$1" "$2]" " $3}' "$HOME""$FILE"0 "$HOME""$FILE"1|awk '{ s=$3+$4 } {print $1,$2,$3,$4,s}'|awk '{if ($5 > "'$escape_time'"+0) print $1,$2,$3,$4,$5}'|sort -k5nr|head -5|awk '{print $1,$2,$3,$4}' >>"$HOME""$RESULT"

echo \********************************************* >> "$HOME""$RESULT"

awk 'NR==FNR{a[$1" "$2]=$0}NR>FNR{print a[$1" "$2]" " $3}' "$HOME""$FILE"2 "$HOME""$FILE"3|awk '{ s=$3+$4 } {print $1,$2,$3,$4,s}'|awk '{if ($5 > "'$escape_time'"+0) print $1,$2,$3,$4,$5}'|sort -k5nr|head -5|awk '{print $1,$2,$3,$4}' >>"$HOME""$RESULT"

echo \********************************************* >> "$HOME""$RESULT"
# 输出结果
cat "$HOME""$RESULT"