awk概述

awk工作原理

逐行读取文本，默认以空格为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令

awk内置变量

FS:指定每行文本的字段分隔符，缺省为空格或制表位

NF:当前处理的行的字段个数

NR:当前处理的行的行号（序数)

$0:当前处理的行的整行内容

$n:当前处理行的第n个字段(第n列)

FILENAME:被处理的文件名。

awk概述

AWK是一种处理文木文件的语言，是一个强大的文本分析工具。

它是专门为文木处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作数话可以来自标准输入也可以是管通或文件.

工作原理:当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出,如果没有定义匹配条件默认是匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执行多少次

工作原理

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并拉模式或者条件执行编辑命令。

sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个""字段"然后再进行处理.。.awt信息的读入也是逐行读取的，执行结果可以通过print的功能将学段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符"

&"表示"与"、"I|表示"或"、" !"表示非" ;还可以进行简单的数学运算，如+、一、+、7、虽、"分别表示加、减、乘、除、取余和乘方。

命令格式:

awk选项 模式或条件[操作文件1文件2 ...

awk -f 脚本文件文件1文件2 --

格式: awk关键字 选项 命令部分 "(xxxx)' 文件名

RS:行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录，rl而jawk一次仅读入一条记录，以进行处理。预设值是”\n

简说:数据记录分隔,默认为\n。即每行为一条记录

[ rootelocalhost~]#awk '{print $1""$2}' zz

root: :0:0: root: if root:/bin/bash // awk默认把这一行当做一列，因为没有被空格分隔，awk默认以空格或tab键分隔

[rootRlocalhost ~]# awk -F: '{print $5}' zz//自定义冒号为分隔符显示分隔之后的第五列root

[root8localhost ~]# awk -Fx '{print $1)'/etc/passwd //用x作为分隔符root:

[ rootelocalhoat ~]# awk ' { print $1 $2}’

[root8localhost ~]#awk '{print $1""$2}' zz

//显示一个空格，空格需要用双引号引起来，如果不用引号默认以变量看待，如果是常量就需要双引号引起来

[root8localhost ~]# awk ' (print $1,$2]' zz //逗号有空格效果

[root@localhost ~]# awk -F: '{print $1"\t"$2 }' /etc/passwd //用制表符作为分隔符输出

[rootelocalhost ~-]# awk -F[:/]'{print $9}' zz //定义多个分隔符，只要看到其中一个都算作分隔符

awk常用内置变量:$1、$2、NE、NR、$0

$1:代表第一列

$2:代表第二列以此类推

$0:代表整行

NF:一行的列数

NR:行数

[root@localhost ~]# awk -F: ' /root/{print $0}' pass.txt //打印包含root的整行内容

[root@localhost ~] #awk -F: '/root/{print $1 } ' pass.txt //打印包含root的行的第一列

[root@localhost ~-]#awk -F: '/root/{print $1,$6)’ pass.txt //打印包含root的行的第一列和第六列

[root@localhost ~]#awk '/root/' /etc/passwd //输出shadow文件中以冒号分隔的第二列有感叹号的行的第一列

[root@localhost ~]# awk -F[:/] '{print NF}' zz //打印每一行的列数

[root@localhost ~]# awk -F[:/ ] '{print NR}' zz //显示行号

[ root@localhost ~]#awk -F: '{print NR}' pass.txti

[rootelocalhost ~ ]# awk -F: ' {print NR,$0}' pass.txt

[root@localhost ~-]# awk 'NR==2' /etc/passwd //打印第二行，不加print也一样，默认就是打印

[root@localhost -]#awk 'NR==2 {print}' /etc/passwd //同上效果

[root@localhost ~]# awk -F:'NR==2{print $1}' /etc/passwd //打印第二行的第一列[root8localhost ~ ] # awk -F: '{print $NF}'/etc/passwd //打印最后一列

[root8localhost ~]#awk -F: '{print $NF}' /etc/passwd //打印最后一列

[ rOot@localhost~]#aw 'END{print NR}'/etc/passwd //打印总行数

[ root8localhost ~]#awk 'END{print $0 } ' /etc/passwd //打印文件最后一行

[ root@localhost ~]# awk -F: '{print "当前行有"NF"列"}’ zz

[root@localhost ~]#awk -F: '{print "第"NR"行有"NF"列"}' /etc/passwd //第几行有几列

生产:网卡的ip、流量

[root@localhost ~]# ifconfig ens33 | awk ' / netmask/ {print "本机的ip地址是"$2}'

本机的ip地址是192.168.245.211

[ root@localhost ~]# ifconfig ens33 / awk '/RX p/{print $5"字节"}'

8341053字节

根分区的可用量

[ root@localhost ~]# df -h | awk 'NR==2{print $4 }'

逐行执行开始之前执行什么任务，结束之后再执行什么任务，用BEGIN、END

BEGIN一般用来做初始化操作，仅在读取数据记录之前执行一次

END—般用来做汇总操作，仅在读取完数据记录之后执行一次

awk的运算：

[root@localhost ~]# awk 'BEGIN{x=10;print x)’ //如果不用引号awk就当作一个变量来输出了，所以不需要加$了

[root@localhost ~]# awk 'BEGIN{x=10;print x+1}’//BEGIN在处理文件之前，所以后而不跟文件名也不影响

[ root@localhost ~ ]#awk 'BEGIN{x=10;x++ ; print x }'

[rootelocalhost ~]# cat /etc/passwd | head -10 > zz

[ root8localhost ~]# awk '{print}' zz

[root@localhost ~]# awk ‘BEGIN{x=10;print x+1}' //BEGIM在处理文件之前，所以后面不跟文件名也不影响

[rootelocalhost ~]i awk 'BEGIN{print x+1}′ //不指定初始值，初始值就为0，如果是字符串，则默认为空

[rootelocalhost ~]#awk 'BEGIN{print 2.5+3.5}' //小数也可以运算

[ rootelocalhost ~]#awk 'BEGIN{print 2-1}'

[rootelocalhost ~]# awk 'BEGIN {print 3*4}'

[rootelocalhost~]#awk "BEGIN{print 3**2}"

[rootelocalhost ~]# awk 'BEGIN{print 2^3}' //^和**都是幂运算6

[rootelocalhost ~]# awk -F: ' /root/' /etc/ passwd 如果后面有具体打印名少列就没法省略print了

模糊匹配，用~表示包含,!~表示不包含

[ rootelocalhost~ ]#awk -F:'$1~/root/' /etc/passwd

[root@localhost ~]# awk -F: '$1~/ro/' /etc/passwd //模糊匹配，只要有ro就匹配上

[rootelocalhost ~]# awk -F: '$7! ~/nologin$/{print $1,$7 }' /etc/passwd

关于数值与字符串的比较

比较符号:== != <= >= < >

[root@localhoat ~]# awk "NR==5{print }' /etc/passwd

[ root@localhost~] # awk ‘NR==5' /etc/passwd

[ root&localhost ~J#awk，"MR<5" / etc/ passw

[ rootelocalhoat ~]#awk -F:'$3==o' /etc/ pasawd

[ rootelocalhost ~]#awk -F: '$1==root' letc/passwd

[ rootelocalhost ~j]#awk -F: '$1=="root"'/etc/passwd / /精确匹配一定是root

[ roote1ocalhost ~]#awk -F: '$3>=1000'/etc/passwd

[rootelocalhost ~]tawk -F: '$3>=1000' /etc/passwd

逻辑运算.&& ||

[root@localhost ~]# awk -F:'$3<10 || $3>=1000' /etc/passwd

[rootelocalhost ~]# awk -F: '$3>10 && $3<1000' /etc/passwd

[root@localhost ~]# awk -F:'NR>4 && NR<10'/etc/pasawd

例如：

打印1-200之间所有能被7整除并且包含数字7的整数数字

[rootelocalhost ~] #seq 200 | awk '$1%7==0 && $1~/7 / '

其他内置变量的用法FS、OFS、NR、FNR、RS、ORS

[rootelocalhost ~ ]# awk 'BEGIN{FS=":"}{print $1} ' pass.txt //在打印之前定义字段分隔符为冒号

[rootelocalhost ~]# awk 'BEGIN{FS=": " ; OFS="---"} {print $1,$2 }' pass.txt

//OFS定义了输出时以什么分隔，$1$2中间要用逗号分隔，因为逗号默认被映射为OFS变量，而这个变量默认是空格

[root@localnost ~]# awk '{print FNR,$0}'/etc/resolv.conf /etc/hosts //可以看出PNR的行号在追加当有多个文件时

[root8localhost ~-]# awk "iprint NR,$0}" /etc/resolv.conf letc/hosts

[rootelocalhost ~] #awk "BEGIN{RS=": " }{print $0}:/etc/passwd //RS:指定以什么为换行符，这里指定是冒号，你指定的肯定是原文里存在的字符

[rootelocalhost ~]#awk"BEGIN{ORS=" "}{print $0}' /etc/passwd //把多行合并成一行输出，输出的时候自定义以空格分隔每行，本来默认的是回车键

awk高级用法

定义引用变量

[ rootelocalhost ~]# a=100

[ rootelocalhost ~]# awk -v b="$a" 'BEGIN{print b}' //将系统的变量a，在awk里赋值为变量b，然后调用变量b

[rootelocalhost ~]# awk 'BEGIN{print"'$a '"}’ //直接调用的话需要先用双引号再用单引号

[root8localhost ~ ]# awk -vc=l 'BEGIN{print c}' // awk直接定义变量并引用

调用函数getline，读取一行数据的时候并不是得到当前行而是当前行的下一行

[ root8localhost ~] # df -h / awk_'BEGIN {getline} /root/{print $0 }'

[root8localhost ~] # seq 10 | awk '{getline;print $0}' //显示偶数行

[ root@localhost ~]# seq 10 | awk '{print $0; getline}' //显示奇数行

if语句:awk的if语句也分为单分支、双分支和多分支

单分支为if（）{}

双分支为if0i}else{}

多分支为if (){} else if() { } else()

[ root@localhost ~]# awk -F: '{if($3<10){print $0}} ' /etc/passwd //第三列小于10的打印整行

[ root(localhost ~]# awk -F: ' {if($3<10){print $3}else{print $1}' /etc/passwd //第三列小于10的打印第三列，否则打印第一列

awk还支持for循环、 while循环、函数、数组等

awk 'BEGIN{x=0}; /\/bin\/bash$/ {x++;print x,$0}; END {print x }' /etc/passwd

#统计以/ bin/bash结尾的行数，等同于grep -c " / bin/ bashS" /etc/passwd

awrk -F ":" ' {max=($3>=$4) ?$3:$4; {print max} } ' /etc/passwd_(了解)

#($3>$4)?$3:$4三元运算符，如果第3个字段的值大手等于第4个字段的值，则把第3个字段的值赋给msx，否则第4个字段的值赋给max.

awk -F ":” ' {print NR，$0 }'/etc/passwd #输出每行内容和行号，每处理完一条记录，MR值加1

sed -n '=;p'/etc/passwd

awk -F ":”'$7~"bash" {print $1,47}'/etc/passwd#输出以冒号分隔且第7个字段中包含/bash的行的第1个字段

awk -F: ‘/ bash/ {print $1}’ /etc/passwd

通过管道、双引号调用shell命令:

echo $PATH | awk ‘BEGIN {RS=" :"};END {print NR}’ #统计以冒号分隔的文本段落数，END{ }语句块中，往往会放入打印结果等语句

echo $PATH | awk 'BEGIN{RS=":"};{print NR,$0 } ;END {print NR}'

awk -F: '/bash$/{print / "wc -1")' /etc/passwd #调用wc -l命令统计使用bash的用户个数,等同于qrep -e "bash$" /etc/ passwrd

awk -F:" /bash$/{print} ' passwd wc -l

free -m | awk '/Mem:/{print int($3/($3+$4) *100)"%"} #查看当前内存使用百分比[ root@localhost ~] #free -m | awk ' / Mem : / {print $3/$2)'0.327869

[root@localhost ~J# free -m | 'awk_ /Mem: / {print $3/$2*100 }'32.7869 [root@localhost ~] # free -m' | 'awk '/Mem :/ {print int$3/$2**100}'

[root@localhost ~]# free -m | 'awk /Mem: / {print int($3/$2*100) }'32

[root@localhost ~]# free -m i awk '/Mem :/ {print int ($3/$2*100) ""%""}"32%

free -m | awk ' /Mem : / {print $3/$2*100)' | awk -F. ' {print $1 "%""}'

top -b -n 1 | grep Cpu | awk -F "," '{print $4} '| awk '{print $1}’ ##查看当前CPU空闲率，(-b -n 1表示只需要1次的输出结果)

date -d "$(awk -F ".” '{print $1} ' /proc/uptime) second ago"+"F%H:%M:%S"

显示上次系统重启时间，等同于uptime; second ago为显示多少秒前的时间，+$”选日:3N:3S等同于+"3Y-n-%d 3日:8N:8S"的时间格式

awk "BEGIN {n=0 ; while ("w" l getline) n++ ; {print n-2}}' #调用w命令，并用来统计在线用户数

awk 'BEGIN { "hostname" | getline ; {print $0)} ' #调用hostname,并输出当前的主机名

当getline左右无重定向符" <"或"I"时，awk首先读取到了第一行，就是1，"然后getline，就得到了1下面的第二行，就是2，因为getline之后，awk会改变对应的NE，NR，FNR和$o等内部变量，所以此时的so的值就不再是1，而是2了，然后将它打印出来。当getline左右有重定而符"<"或"I"时，getline则作用于定向输入文件，由于该文件是刚打开，

并没有被awk读入一行,只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。

seq 10 | awk'{getline: print $0 }'

seq 10 | awk ' {print $0 ; getline }'

CPU使用率

cpu_us=top -b -n 1 | grep cpu | awk '{print $2 } '

cpu_sy= top -b -n 1 i | grep cpu | awk -F '，' '{print $2}' l awk '{print $1)'

cpu sum=$ (($cpu_us+$cpu_sy)）

echo $cpu_sum

echo "A B C D" | awk '{OFS="|"; print $0;$1-$1;print $0}'

$1-$1是用来激活$0的重新赋值。也就是说宁段$1...和字段数NF的改变会促便awk重新计算$0的值,通常是在改变OFS后而需要输出$O时这样做

echo "A B C D" | awk 'BEGIN{OFS-"|"}; {print $0;$1-$1;print $1,$2}'

echo "A B C D" | awk 'BEGIN{OFS=”|"};{print $0;$1-$l; print $0 }'

echo "A B C D | awk 'BEGIN{OFS="|"};{$2-$2;print $1,$2}'

awk 'BEGIN{a[O]=10;a[1]=20;print a[l]}'

awk 'BEGIN{a[O]=10;a[1]=20; print a[o]}'

awk 'BEGIN{a["abc"]=10; a[ "xyz"]=20; print a [ "abe""] }'

awk 'BEGIN{a ["abc"]=10; a["xyz"]=20; print a ["xyz"]}'

awk 'BEGIN{a["abe" ]="aabbee" ; a [ "xyz"” ]="xxyyzz" ; print a [ "xyz"]}'

awk 'BEGIN{a[0] =10;a[1]=20;a[2]=30;for (i in a){print i,a[i]}}'

PS1:BEG工N中的命令只执行一次

PS2:awk数组的下标除了可以使用数字，也可以使用字符串,字符串需要使用双引号

使用awk统计httpd 访问日志中每个客户端IP的出现次数?

结果:

awk '{ip[$1]++}END(for(i in ip)(print ip[i],i}' /var/log/httpd/access_log | sort -r

备注:定义数组，数组名称为ip，数字的下标为日怎文件的第1列《也就是客户端的TP地址)，++的目的在于对客户端进行统计计数，客户端TP出现一次计数器就加i。END中的指令在读取完文件后执行，通过循环将所石统计信息输出，for循环遍历的是数组名ip的下标。

awk '/Failed password/{print $0} ' /var / log/ secure

awk ' /Failed password/ {print $11}' /var/log/ secure

awk ' /Failed/[ip[$11]++]END{for (i in ip)(print i" "ip[1]))' /var/log/secure

awk ' /Failed/{ip[$1-1]++}END{for (i in ip){printi","ip[i]}}’/vaz/log/aecure

zhengqu

awk '/Failed password/{ip[$11]++}END{for(i in ip)iprint i", "ip[i] }}'/var/loglsecure

脚本编写

#!/ bin/bash

x=awk '/Failed password/ {ip[$11]++] END( for(i in ip) {print i","ip[i]}}' /var/log/secure

#190.168.80.13 3

for j in $x

do

ip=echo $j | awk -F " ,"'iprint $1]

num= echo $j | awk -F "," '{print $2}'

if [ $num -ge 3 ];then

echo"警告!$ip访问本机失败了$num次,请速速处理!"

fi

done