统计日志文件中每行大小

最新推荐文章于 2021-05-02 01:32:28 发布

最新推荐文章于 2021-05-02 01:32:28 发布 · 538 阅读

文章标签：

#python #awk

shell 专栏收录该内容

19 篇文章

订阅专栏

统计日志文件中每行所占的字节数大小

1. 生成一份日志文件

如下：

#/bin/bash -x

#generate log,then calc line/per size
#fromat:  date|random|md5sum
#eg. 2011-11-17 10:10:20|18878|fc28cf992ab2b3b8a1f183105533eb26


FILE=`date +%Y%m%d%H%M%S`

NUM=1000000

if [ -z $1 ];then
	``>/dev/null 
else
	if [ $1 -gt "0" ];then
		NUM=$1
	fi
fi

echo "input num is:"$NUM

for ((i=0;i<$NUM;i++));
do
	num=$RANDOM
	content="`date +"%Y-%m-%d %H:%M:%S"`|"$num"|"`echo $num|md5sum|awk '{print $1}'`
	echo $content >>$HOME/tmp/$FILE
done

2. 查看文件大小

切勿使用du -sh * 或者是ll -lht 来查看文件的大小

3. 查看日志文件的行数

cat $file |wc -l

4. 计算每行所占大小

expr 文件总大小 / 行数

或者省略2，3，4步，直接计算结果为：

expr `ll |grep 20111117112511 |awk '{print $5}'` / `cat 20111117112511 |wc -l`