shell-awk文本处理工具

1、awk概述

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。

它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作

数据可以来自标准输入也可以是管道或文件

在 linux 上常用的是 gawk,awk 是 gawk 的链接文件

[root@localhost~]# which awk
/usr/bin/awk

[root@localhost~]# ll /usr/bin/awk
lrwxrwxrwx. 1 root root 4 6月  11 07:19 /usr/bin/awk -> gawk

2、awk工作原理

当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出

如果没有定义匹配条件默认是匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执行多少次逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

sed命令常用于一整行的处理，而awk比较、倾向于将一行分成多个""字段"然后再进行处理。awk

信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符" &&"表示"与"、"||表示"或"、"!"表示非";还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

正则表达式 : /root/ 匹配含有 root 的行 /*.root/

关系表达式： < > && || + *

匹配表达式： ~ ！~ 动作：

变量 命令 内置函数 流控制语句它的语法结构如下：

awk [options] 'BEGIN{ print "start" } ‘pattern{ commands }’ END{ print "end" }'

BEGIN END 是 AWK 的关键字部，因此必须大写；这两个部分开始块和结束块是可选的

3、awk执行流程

BEGIN 语句设置计数和打印头部信息，在任何动作之前进行

END 语句输出统计结果，在完成动作之后执行

AWK执行流程：读（Read）、执行（Execute）与重复（Repeat）。

1、读（Read）：从文件、管道或标准输入中读入一行到内存中

2、执行（Execute）：对每一行数据，根据 AWK 命令按顺序执行。默认情况是处理每一行数据，也可以指定模式

3、重复（Repeat）：一直重复上述两个过程直到文件结束

4、命令格式

awk 选项' 模式或条件{操作}' 文件1 文件2 ...

awk -f 脚本文件 文件1 文件2 ..

格式：awk关键字 选项 命令部分 '{xxxx}' 文件名

**AWK 支持两种不同类型的变量：内建变量(可直接使用)，自定义变量awk 内置变量（预定义变量）

FS：指定每行文本的字段分隔符，默认为空格或制表位。

NF：当前处理的行的字段个数。在执行过程中对应于当前的字段数，NF：列的个数

NR：当前处理的行的行号（序数）。 在执行过程中对应于当前的行号

$0：当前处理的行的整行内容。

$n：当前处理行的第 n 个字段（第 n 列）。比如: $1 表示第一个字段，$2 表示第二个字段

FILENAME：被处理的文件名(当前输入文件的名)。

FNR 各文件分别计数的行号

OFS 输出字段分隔符（默认值是一个空格）

ORS 输出记录分隔符（默认值是一个换行符）

RS:行分隔符。awk从文件上读取资料时,将根据Rs的定义把资料切割成许多条记录, 而awk一次仅读入一条记录,以进行处理。预设值是" \n'

简说：数据记录分隔，默认为\n，即每行为一条记录

5、内建变量（FS NF NR $0 $n）

awk 包含几个特殊的内建变量（可直接用）如下所示：

FS：指定每行文本的字段分隔符，默认为空格或制表位（\t）。

NF：当前处理的行的字段个数（列）。

NR：当前处理的行的行号（序数）。

$0：当前处理的行的整行内容。

$n：当前处理行的第 n 个字段（第 n 列）。

FILENAME：被处理的文件名。

RS:行分隔符。awk从文件上读取资料时,将根据Rs的定义把资料切割成许多条记录, 而awk一次仅读入一

条记录,以进行处理。预设值是" \n'

简说：数据记录分隔，默认为\n，即每行为一条记录

[root@localhost ~]#awk 'patterm{action}'

[root@localhost ~]#awk ' '                #什么都不写 空没有效果

[root@localhost ~]#awk '{print}'              #把输入内容再打印一遍

[root@localhost ~]#awk '{print "hello"}'                     输入任何内容都打印hello

#字符串需要添加双引号，单引号已被使用

[root@localhost ~]#awk '{print "hello"}' < /etc/passwd         

把/etc/passwd内容输出到awk，所有/etc/passwd内容显示成hello

[root@localhost ~]# cat /etc/passwd | head -10 > zz            #把/etc/passwd前10行输入到zz

[root@localhost ~]# awk '{print}' zz                     #打印文件zz

[root@localhost ~]# awk  '{print $1}' zz           #以默认空格为分隔，打印zz第一列

[root@localhost ~]# awk -F: '{print $1}' zz           #以：为分隔，打印zz第一列

root:x:0:0:root:/root:/bin/bash //awk默认把这一行当做一列，因为没有被空格分隔，awk默

认以空格或tab键分隔

[root@localhost ~]# awk -F: '{print $5}' zz          #以：为分隔符，打印第五列

[root@localhost ~]# awk -Fx '{print $1}' /etc/passwd          #以 x 为分隔符 ，打印第一列

[root@localhost ~]# awk '{print $1 $2}' zz

[root@localhost ~]# awk '{print $1" "$2}' zz           #双引号中间加一个空格，空格作用

[root@localhost ~]# awk '{print $1,$2}' zz              #逗号有空格效果

[root@localhost ~]# awk -F: '{print $1"\t"$2}' /etc/passwd        #用制表符作为分隔符

[root@localhost ~]# awk -F[:/] '{print $9}' zz

//定义多个分隔符，只要看到其中一个都算作分隔符

6、内置变量（$0 $1 NF NR）

awk常用内置变量：$1、$2、NF、NR、$0

$1：代表第一列

$2：代表第二列以此类推

$0：代表整行

NF：一行的列数

NR：行数

[root@localhost ~]# awk -F: '/root/{print $0}' zz               //打印包含root的整行内容

[root@localhost ~]# awk -F: '/root/{print $1}' zz               //打印包含root的行的第一列

[root@localhost ~]# awk -F: '/root/{print $1,$6}' zz           //打印包含root行的第1列和第6列

[root@localhost ~]# awk '/root/' /etc/passwd                 //输出包含root的行

[root@localhost ~]# awk -F[:/] '{print NF}' zz               //打印每一行的列数

[root@localhost ~]# awk '{print NR}' zz

[root@localhost ~]# awk -F[:/] '{print NR}' zz                            //显示行号

[root@localhost ~]# awk -F: '{print NR}' zz

[root@localhost ~]# awk -F: '{print NR,$0}' pass.txt         //显示行号，并打印每一行

[root@localhost ~]# awk 'NR==2' zz              //打印第二行  (不加print也一样，默认就是打印)

[root@localhost ~]# awk 'NR==2{print}' /etc/passwd 

[root@localhost ~]# awk -F: 'NR==2{print $1}' /etc/passwd //打印第二行的第一列

[root@localhost ~]# awk -F: '{print $NF}' /etc/passwd //打印最后一列

[root@localhost ~]# awk 'END{print NR}' zz                 //打印最后一行行号，相当于总行数

[root@localhost ~]# awk 'END{print $0}' zz               //打印文件最后一行

[root@localhost ~]# awk -F: '{print "当前行有"NF"列"}' zz

[root@localhost ~]# awk -F: '{print "第"NR"行有"NF"列"}' zz     //第几行有几 列

扩展生产案列：网卡的ip、流量

[root@localhost ~]# ifconfig ens33 | awk '/netmask/{print "本机的ip地址是"$4}'

打印 ifconfig ens33 包含 netmask 行 的第四列

[root@localhost ~]# ifconfig ens33 | awk '/RX p/{print $5"字节"}'

打印 ifconfig ens33 包含  RX p  行 的第五列

#根分区的可用量

[root@localhost ~]# df -h | awk 'NR==2{print $4}'

打印 df -h 第二行 第四列

7、BEGIN END 运算

逐行执行开始之前执行什么任务，结束之后再执行什么任务，用BEGIN、END

BEGIN一般用来做初始化操作，仅在读取数据记录之前执行一次

END一般用来做汇总操作，仅在读取完数据记录之后执行一次

awk的运算：

[root@localhost ~]# awk 'BEGIN{x=10;print x}'

//如果不用引号awk就当作一个变量来输出了，所以不需要加$了

10

[root@localhost ~]# awk 'BEGIN{x=10;print x+1}'

//BEGIN在处理文件之前，所以后面不跟文件名也不影响

11

[root@localhost ~]# awk 'BEGIN{x=10;x++;print x}'

11

[root@localhost ~]# awk 'BEGIN{print x+1}'

//不指定初始值，初始值就为0，如果是字符串，则默认为空

1

[root@localhost ~]# awk 'BEGIN{print 2.5+3.5}'           //小数也可以运算

6

[root@localhost ~]# awk 'BEGIN{print 2-1}'

1

[root@localhost ~]# awk 'BEGIN{print 3*4}'

12

[root@localhost ~]# awk 'BEGIN{print 3**2}'     

9

[root@localhost ~]# awk 'BEGIN{print 2^3}'                  //^和**都是幂运算

8

[root@localhost ~]# awk 'BEGIN{print 1/2}'

0.5

[root@localhost ~]# awk -F: '/root/' /etc/passwd               //包含 root 的行

//如果后面有具体打印多少列就没法省略print了

8、模糊匹配（~、！~）

模糊匹配，用~表示包含，!~表示不包含

[root@localhost ~]# awk -F: '$1~/root/' zz                     #第一列包含 root 的行

[root@localhost ~]# awk -F: '$1~/ro/' zz               #第一列包含 ro 的行

//模糊匹配，只要有ro就匹配上

 

[root@localhost ~]# awk -F: '$7!~/nologin$/{print $1,$7}' /etc/passwd

第七列不包含以 nologin 结尾的行 ，并打印第一列第七列

9、数值与字符串的比较（==  !=  >  <）

比较符号：==    !=    <=    >=    <    >

[root@localhost ~]# awk 'NR==5{print}' zz

[root@localhost ~]# awk 'NR==5' zz                     #打印第5行

[root@localhost ~]# awk 'NR<5' /etc/passwd              #打印行号小于5的行

[root@localhost ~]# awk -F: '$3==0' /etc/passwd             #打印第3列=0的行

      

[root@localhost ~]# awk -F: '$1=="root"' /etc/passwd         #打印第1列=root的行

[root@localhost ~]# awk -F: '$3>=1000' /etc/passwd          #打印带3列uid >= 1000的行

uid >=1000 为普通用户

10、逻辑运算 （&& 、||）

&& 和 || 是逻辑运算符，用于组合多个条件并控制程序流程。

&&（而且） 要求所有条件都为真时才为真，否则为假。

|| （或）      只要有一个条件为真就为真，全为假时才为假。

[root@localhost ~]# awk -F: '$3<10 || $3>=1000' /etc/passwd   第3列小于10或大于等于1000

[root@localhost ~]# awk -F: '$3>10 && $3<1000' /etc/passwd      第3列大于10而且小于1000

[root@localhost ~]# awk -F: 'NR>4 && NR<10' /etc/passwd           行号大于4小于10

打印1-200之间所有能被7整除并且包含数字7的整数数字

[root@localhost ~]# seq 200 | awk '$1%7==0 && $1~/7/'

FS、OFS、NR、FNR、RS、ORS

其他内置变量的用法FS（输入）、OFS、NR、FNR、RS、ORS

FS：输入字段的分隔符 默认是空格

OFS：输出字段的分隔符 默认也是空格

FNR：读取文件的记录数（行号），从1开始，新的文件重新重1开始计数，把一个文件追加到另一个文件，行号不累计

NR :行号累计

RS：输入行分隔符 默认为换行符，把一行内容按照分隔符分割 换行输出

ORS：输出行分隔符 默认也是为换行符， 把多行合并成一行输出

FS：输入字段的分隔符

[root@localhost ~]# awk 'BEGIN{FS=":"}{print $1}' pass.txt     

以 ：为分隔符，打印第一列

OFS：输出字段的分隔符

[root@localhost ~]# awk 'BEGIN{FS=":";OFS="---"}{print $1,$2}' pass.txt

以：为分隔符，输出时以 --- 为分隔符 ，打印第1第2列

#OFS定义了输出时以什么分隔，$1$2中间要用逗号分隔，因为逗号默认被映射为OFS变量，而这个变量默认是空格

FNR：一个文件追加到另一个文件，行号不累计

[root@localhost ~]# awk '{print FNR,$0}' /etc/resolv.conf /etc/hosts

把 /etc/hosts 追加到 /etc/resolv.conf ,打印行号和内容       FNR行号不追加

NR：一个文件追加到另一个文件，行号累计

[root@localhost ~]# awk '{print NR,$0}' /etc/resolv.conf /etc/hosts

把 /etc/hosts 追加到 /etc/resolv.conf ,打印行号和内容       FNR行号追加

RS：一行内容按照分隔符分割 换行输出

[root@localhost ~]# awk 'BEGIN{RS=":"}{print $0}' /etc/passwd

把一行内容以 ：为分隔符 分割 ，换行输出

#RS:指定以什么为换行符，这里指定是冒号，你指定的肯定是原文里存在的字符

ORS：多行合并成一行输出

[root@localhost ~]# awk 'BEGIN{ORS=" "}{print $0}' /etc/passwd

//把多行合并成一行输出，输出时以空格为分隔符    （本来默认的是回车键）

11、 awk高级用法（变量）

#定义引用变量

[root@localhost ~]# a=100

[root@localhost ~]# awk -v b="$a" 'BEGIN{print b}'

#将系统的变量a，在awk里赋值为变量b，然后调用变量b -v 选项将其传递给 awk

100

[root@localhost ~]# awk 'BEGIN{print " '$a' "}'      //直接调用的话需要先用双引号再用单引号

100

[root@localhost ~]# awk -vc=10 'BEGIN{print c}'                //awk直接定义变量并引用

10

[root@localhost ~]# awk -vc=$a 'BEGIN{print c}'

100

[root@localhost ~]# seq 10 | awk '{getline;print $0}'          //显示1-10偶数行

[root@localhost ~]# seq 10 | awk '{print $0;getline}'            //显示1-10奇数行

[root@localhost ~]# df -h | awk 'BEGIN{getline}/root/{print $0}'

在 df -h 偶数行里  打印包含 root 的行

#调用函数getline，读取一行数据的时候并不是得到当前行而是当前行的下一行

12、 awk if语句（单、双、多）

awk的if语句也分为单分支、双分支和多分支

[root@localhost ~]# awk -F: '{if($3<10){print $0}}' /etc/passwd      //第三列小于10的打印整行

[root@localhost ~]# awk -F: '{if($3<10){print $3}else{print $1}}' /etc/passwd

//第三列小于10的打印第三列，否则打印第一列

13、 BEGIN END 流程

awk还支持for循环、while循环、函数、数组等

其他

awk 'BEGIN{ commands } pattern{ commands } END{ commands }'

第一步：运行BEGIN{ commands }语句块中的语句。

第二步：从文件或标准输入(stdin)读取一行。然后运行pattern{ commands }语句块，它逐行扫描文

件，从第一行到最后一行反复这个过程。直到文件所有被读取完成。

第三步：当读至输入流末尾时，运行END{ commands }语句块。

BEGIN语句块在awk开始从输入流中读取行之前被运行，这是一个可选的语句块，比方变量初始化、打印输出表格的表头等语句通常能够写在BEGIN语句块中。

END语句块在awk从输入流中读取全然部的行之后即被运行。比方打印全部行的分析结果这类信息汇总都是在END语句块中完毕，它也是一个可选语句块。

pattern语句块中的通用命令是最重要的部分，它也是可选的。假设没有提供pattern语句块，则默认运行{ print }，即打印每个读取到的行。awk读取的每一行都会运行该语句块。

这三个部分缺少任何一部分都可以

[root@localhost ]#awk 'BEGIN{x=0};/\/bin\/bash$/ {x++;print x,$0};END{print x}' /etc/passwd

#统计以/ bin/bash结尾的行数

开始模块 x=0 ；工作模块：以/bin/bash结尾的行，x+1，并打印当前x和内容  ；  结束模块：打印x

[root@localhost ~]#grep -c "/bin/bash$" /etc/passwd

BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作; awk再处理指定的文本，之后再执行END模式中指定的动作，END{}语句块中，往往会放入打印结果等语句

[root@localhost ~]#awk -F ":" '! ($3<200){print} ' /etc/passwd

#输出第3个字段的值不小于200的行

[root@localhost ~]awk -F: '$3>=1000{print}' /etc/passwd

[root@localhost ~]awk -F: '{if ($3>=1000){print}}' /etc/passwd

[root@localhost ~]#awk 'BEGIN {FS=":"} ;！($3<1000){print}' /etc/passwd

[root@localhost ~]#awk 'BEGIN {FS=":"} ;{if($3>=1000){print}}' /etc/passwd

#先处理完BEGIN的内容，再打印文本里面的内容

[root@localhost ~]#awk -F ":" ' {max=($3>=$4) ?$3:$4; {print max}} ' /etc/passwd

#($3>$4)?$3:$4三元运算符，如果第3个字段的值大于等于第4个字段的值，则把第3个字段的值赋给max， 否则第4个字段的值赋给max

[root@localhost ~]#awk -F ":" '{print NR,$0}' /etc/passwd

#输出每行内容和行号，每处理完一条记录，NR值加1

[root@localhost ~]#sed -n '=;p' /etc/passwd

-n 关闭打印           = 输出行号          ；多个模式用；隔开

[root@localhost ~]#awk -F ":" '$7~"bash"{print $1,47}' /etc/passwd

#输出以冒号分隔  且   第7个字段中包含bash的行   的第1个字段

[root@localhost ~]#awk -F: '/bash/ {print $1}' /etc/passwd

[root@localhost ~]#awk -F":" '($1~"root") && (NF==7) {print $1,$2,$NF } ' /etc/passwd

#第1个字段中包含root且有7个字段的行的第1、2字段和最后一个字段

[root@localhost ~]#awk -F ":" '($7!="/bin/bash")&&($7!="/sbin/nologin"){print} ' /etc/passwd

#输出第7个字段既不为/bin/bash，也不为/sbin/nologin的所有行

[root@localhost ~]#awk -F: '($NF !=" /bin/bash")&&($NF !=" /sbin/nologin" ) {print NR, $0}' passwd

最后一列不等于 /bin/bash 而且 最后一列不等于 /sbin/nologin 的行，打印行号和内容

通过管道、双引号调用shell 命令:

[root@localhost ~]#echo $PATH | awk 'BEGIN{RS=":"};END {print NR}'

#统计以冒号分隔的文本段落数，END{ }语句块中，往往会放入打印结果等语句

[root@localhost ~]#echo $PATH | awk 'BEGIN{RS=":"};{print NR,$0};END {print NR}'

[root@localhost ~]#grep -c "bash$" etc/passwd

[root@localhost ~]#awk -F: '/bash$/{print | "wc -l"}' /etc/passwd

#调用wc -l命令统计以bash结尾的个数

[root@localhost ~]#awk -F: '/bash$/ {print}' /etc/passwd | wc -l

[root@localhost ~]#free -m |awk '/Mem:/ {print int($3/($3+$4)*100)"%"}'

#查看当前内存使用百分比

int 取整

包含Mem：的行，打印第3列 / (第3列+第4列) *100 ，取整，再加上 %

[ root@localhost ~]# free -m | awk '/Mem:/ {print $3/$2}'0.327869

[root@localhost ~]# free -m | awk '/Mem:/ {print $3/$2*100}'

32.7869

[ root@localhost ~]# free -m | awk '/Mem:/ {print int($3/$2*100)}'

32

int 取整

[ root@localhost ~]# free -m | awk '/Mem:/ {print int($3/$2*100) "%"}’

32%

[root@localhost ~]#free -m | awk '/Mem:/ {print $3/$2*100}' | awk -F. '{print $1 "%"}'

包含Mem：的行，打印第3列 / 第2列 *100      ，      打印第一列，再加上 %

[root@localhost ~]#top -b -n 1 | grep Cpu | awk -F ',' '{print $4}'| awk '{print $1}'

#查看当前CPU空闲率，( -b -n 1表示只需要1次的输出结果)

• us: 用户空间进程使用的CPU
• sy: 内核空间进程使用的CPU/系统
• ni: Nice优先级调整的进程使用的CPU
• id: CPU空闲状态的时间
• wa: 等待I/O操作的时间
• hi: 处理硬件中断的时间
• si: 处理软件中断的时间
• st: 在虚拟化环境中，其他虚拟机使用CPU的时间

[root@localhost ~]#date -d "$(awk -F "." '{print $1}'/proc/uptime) second ago"+"%F%H:%M:%S" 

显示上次系统重启时间，等同于uptime; second ago为显示多少秒前的时间，+$” 选日:3N:3S等同于 +"3Y-n-%d 3日:8N:8S"的时间格式

在awk里调用函数

awk 'BEGIN{"函数名" | getline;{print  }}'

[root@localhost ~]#seq 10 | awk ' {getline; print $0 }'

[root@localhost ~]#seq 10 | awk ' { print $0 ; getline } '

[root@localhost ~]#awk 'BEGIN { "hostname" | getline ; {print $0}}'

#调用hostname,并输出当前的主机名

#当getline左右无重定向符"<"或"I"时，awk首先读取到了第一行，就是1，然后getline，就得到了1下面的第二行，就是2，因为getline之后，awk会改变对应的NE，NR，FNR和$0等内部变量，所以此时的$O的值就不再是1，而是2了，然后将它打印出来。

[root@localhost ~]# awk 'BEGIN {n=0 ; while ("w" | getline) n++ ; {print n-2}}'

#调用w命令，并用来统计在线用户数

• BEGIN 块初始化计数器n为0
• while ("w" | getline) 使用getline从命令w的标准输出中读取每一行
• n++ 每读取一行，计数器n递增1
• {print n-2} 在所有行读取完成后，打印计数器n的值减去2（前两行）

[root@localhost home]# w | awk 'NR==1'| awk -F, '{print $2}'| awk '{print $1}'

 

当getline左右有重定向符"<"或"I"时，getline则作用于定向输入文件，由于该文件是刚打开,

并没有被awk读入一行,只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。

CPU使用率

cpu_us=`top -b -n 1 | grep Cpu | awk '{print $2}'`

#用户空间程序CPU的占用的比列

cpu_sy=`top -b -n 1 | grep Cpu | awk -F ',' '{print $2}' | awk '{print $1}'`

# 系统占用的时间比列

cpu_sum=$(echo "$cpu_us + $cpu_sy" | bc)

echo $cpu_sum

``（反撇号）  :    允许将执行某个命令的屏幕输出结果赋值给变量

bc   :   支持小数运算

echo "A B C D" | awk 'BEGIN{OFS="|"};{print $0;$1=$1;print $0}'

echo "A B C D" | awk '{OFS="|"; print $0;$1=$1;print $0}'

A B C D

A|B|C|D

$1=$1是用来激活$0的重新赋值，也就是说字段$1...和字段数NF的改变会促使awk重新计算$0的值,通常是在改变OFS后而需要输出$0时这样做

• print $0 打印原始行，使用新设置的字段分隔符。
• $1=$1 $1=$1是用来激活$0的重新赋值
• print $0 再次打印行，这次使用新设置的字段分隔符。

echo "A B C D" | awk 'BEGIN{OFS="|"};{print $0;$1=$1;print $1,$2}'

echo "A B C D" | awk 'BEGIN{OFS="|"};{$2=$2;print $1,$2}'

14、AWK 数组

 BEGIN中的命令只执行一次

 awk数组的下标除了可以使用数字，也可以使用字符串，字符串需要使用双引号

[root@localhost ~]#awk 'BEGIN{a[0]=10;a[1]=20;print a[1]}'

20

[root@localhost ~]#awk 'BEGIN{a[0]=10;a[1]=20;print a[0]}'

10

[root@localhost ~]#awk 'BEGIN{a["abc"]=10;a["xyz"]=20;print a["abc"]}'

10

[root@localhost ~]#awk 'BEGIN{a["abc"]=10;a["xyz"]=20;print a["xyz"]}'

20

[root@localhost ~]#awk 'BEGIN{a["abc"]="aabbcc";a["xyz"]="xxyyzz";print a["xyz"]}'

xxyyzz

15、AWK 循环

生产案列：

#结合数组和for循环

[root@localhost ~]# awk 'BEGIN{a[0]=10;a[1]=20;a[2]=30;for(i in a){print i,a[i]}}'

使用awk统计httpd 访问日志中每个客户端IP的出现次数?

[root@localhost ~]# awk '{a[$1]+=1;} END {for(i in a){print a[i]" "i;}}' /var/log/httpd/access_log | sort -r

[root@localhost ~]# awk '{ip[$1]++;}END{for(i in ip){print ip[i],i}}' /var/log/httpd/access_log | sort -r

备注:定义数组，数组名称为ip，数字的下标为日志文件的第1列（也就是客户端的IP地址)，++的目的在于对客户端进行统计计数，客户端IP出现一次计数器就加1。END中的指令在读取完文件后执行，通过循环将所有统计信息输出，for循环遍历的是数组名ip的下标。

可用awk来统计固定格式日志里的一些数据，如日志中出现过所有不同的IP awk对文件进行流处理，每次读取一行。$1就是IP，count[i]++是将IP作为一个数组的下标，并且使得统计

这个IP所对应的数组元素自增1.END后面的语句是打印结果，只执行一次

awk ‘{i=$1;count[i]++}END{for(i in count)print(i,count[i])}’ /var/log/httpd/access_log

[root@localhost ~]# awk '{a[$1] += 1;} END {for (i in a) printf("%d %s\n", a[i], i);}'

#日志文件 | sort -n | tail -n 10 #用tail显示最后10行

攻防脚本

防暴力破解脚本

登录失败超过三次加入黑名单

[root@localhost ~]# awk '/Failed password/ {print $0} ' /var/log/secure

[root@localhost ~]# awk '/Failed password/ {print $11} ' /var/log/secure

[root@localhost ~]# awk '/Failed/{ip[$11]++}END{for(i in ip){print i","ip[i]}}' /var/log/secure

#中断 几次

[root@localhost ~]# awk '/Failed password/{ip[$11]++}END{for(i in ip){print i","ip[i]}}' /var/log/secure

#失败几次

脚本编写

#!/bin/ bash

x=`awk '/Failed password/{ip[$11]++}END{for(i in ip){print i","ip[i]}}'

/var/log/secure`

#190.168.10.22 3

for j in $x

do

ip=`echo $j | awk -F "," '{print $1}'`

num=`echo $j | awk -F "," '{print $2}'`

if [ $num -ge 3 ];then

echo "警告! $ip访问本机失败了$num次，请速速处理!"

fi

don

试题

怎么提取版本号 1.9.7 给你道面试题

ant-1.9.7.jar

ant-launcher-1.9.7.jar

antlr-2.7.7.jar

antlr-runtime-3.4.jar

aopalliance-1.0.jar

archaius-core-0.7.6.jar

asm-5.0.4.jar

aspectjweaver-1.9.5.jar

bcpkix-jdk15on-1.64.jar

bcprov-jdk15-1.46.jar

bcprov-jdk15on-1.64.jar

checker-compat-qual-2.5.5.jar

[root@localhost /]#cat ceshi.txt |sed -r 's/.*-(.*)\.jar/\1/'

1.9.7

1.9.7

2.7.7

3.4

1.0

0.7.6

5.0.4

1.9.5

1.64

1.46

1.64

2.5.5

• sed 是一个文本编辑工具，用于执行文本替换等操作。
• -r 选项启用扩展正则表达式（ERE），使正则表达式的语法更加灵活。
• 's/.*-(.*)\.jar/\1/' 是sed的替换命令，其中：
  • s/ 表示替换命令的开始。
  • .*-(.*)\.jar 是一个正则表达式，用于匹配行中的字符串，直到找到第一个-字符，然后捕获-后面的任意字符直到.jar为止。
  • \1 是对正则表达式中第一个括号捕获组的引用，这里引用了捕获的-后面的部分。
  • 整个命令的意思是替换行中的内容，保留从-到.jar之间的部分，并去除其他内容。

awk '{match($0,/[0-9]+\.[0-9]+\.[0-9]+/,m);if (m[0])print m[0];}' ceshi.txt |uniq|awk '$1=="1.9.7"'

附加

需求:1.txt 文件中的内容 帅选出第一列 第三列 并且打印为一行，同时需求两列内容相隔2个空格

zhangsan 20 江苏南京 汉族 内容 文件名称1.txt

sed -e 's/[[:space:]]/\n/g' /root/text1.txt | grep -v ^$ |tr "\n" "_" | awk -

F'_' 'BEGIN{num=0;}{for(i=0;i<NF;i++){num=num+1}}END{for(x=1;x<num;x++){if(x==1)

{printf $x}else{printf "_"$x}} }'

6、总结

grep 和 egrep 文本过滤 (更适合单纯的查找或匹配文本)

sed 流编辑器 实现编辑的(更适合编辑匹配到的文本)

awk 文本报告生成器 实现格式化文本输出(更适合格式化文本，对文本进行较复杂格式处理)