文本三剑客之AWK

awk原理

• 是一种文本处理工具

• 加载一行处理一行

awk命令格式：

1.awk [选项]   '表达式  {处理动作}' 文件1  文件2 ……

   满足表达式就处理，不满足表达式就不处理

2.awk -f  脚本文件   文件1  文件2……

awk选项：

-F ： 指定分隔符

-v ： 指定变量

表达式：

awk的语言的表达式

1.不写就没有效果

2.找到特定的行

处理动作：

print 打印

printf 打印

计算：100+200

awk '{print $n}'                      以空格为分隔符，取第n列

awk -F: '{print $n}'                 以冒号为分隔符 取第n列

awk内置变量

awk 内置变量和设立了环境中 的变量会有冲突，所以用'{  }'

         如：awk '{print $2}'     以空格为分隔符取第二列

语法：awk [选项] '模式{处理动作 }'

如果模式为空，则每一行都要处理

模式：

• FS :列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同

• OFS：决定输出时的分隔符

• RS： 决定行分隔符，RS=":" 指定冒号为行分隔符。

• NF：当前处理的行的字段个数

  示例：倒数第二列：$(NF-1)

  倒数第一列：$(NF)

• NR：显示行号

         示例：NR==2，只显示第二行

         awk 'NR==2{print $1}'

• $0：当前处理的行的整行内容

• $n：当前处理行的第n个字段（第n列）

  $0：一整行或者一整列

  $1：第一列

  $2：第二列

• FILENAME:显示处理的文件名

关系表达式

关系表达式结果为真才会被处理

真：结果为非0值，非空字符串

假：结果为空字符串或0值

seq 10|awk 'i=!i' 奇数行

seq 10|awk '!(i=!i)'偶数行

条件判断

awk [选项] '模式{条件判断}'

案例题：

1.NR==1,NR==4取区间行

 awk -F: "NR==1,NR==4 {print $1}'  /etc/passwd

'NR==1,NR==4 {print $1}'           取1-4行的第一列

2.打印所有/etc/passwd所有用户名（根据-F指定分隔符）

     cat /etc/passwd|awk -F":" '{print $1}'

-F":"                   以冒号作为分隔符

print  $1             打印出第一列

3.打印磁盘已使用情况，去除%

df|awk '{print $5}'|awk -F% '{print $1}'

df|awk -F"[ %]+" '{print $5}'

df|awk -F"( |%)+" '{print $5}'

实例题：

1.找到10点到11点之间的日志

awk '/10:00/,/11:00/{print $0}'

2.删除test里重复的行

awk '!a[$0]++' test

3.统计/etc/fstab文件中每个文件系统类型出现的次数

cat /etc/fstab |awk '^[^#]/{print}' |awk '{print $3}' |sort |uniq -c

'/^[^#]/          提取不以#开头的行

$3                提取第三个字段

sort              排序

uniq -c          去重并统计次数

4.统计出/etc/fstab文件中每个真单词出现的次数

grep -o "\b[a-zA-Z]+\b" /etc/fstab

"\b[a-zA-Z]+\b"              以aA为开头到以zZ为结尾的整字符

+                                    代表一个以上的字符

5.提取出字符串Yd$C@MO5MB%9&Bdh7dq+YVixp3vpw中的所有数字

echo "Yd$C@MO5MB%9&Bdh7dq+YVixp3vpw" |grep -o [0-9]

  grep -o [0-9]              只输出匹配的内容，0-9的数字全部显示

6.提取主机名并放入原文件 test.txt

http://mail.kgc.com/index.html http://www.kgc.com/test.html http://study.kgc.com/index.html http://blog.kgc.com/index.html http://www.kgc.com/images/logo.jpg http://blog.kgc.com/20080102.html http://www.kgc.com/images/kgc.jpg

第一种写法：

cat test |awk -F"[/ .]+" '{print $3}' >>test

"[.  /]"        以  .  或   /  为分隔符

$3             取第三个字段 

第二种写法：

cat test |cut -d "/" -f3|cut -d "." -f1

7.查出/tmp/的权限，以数字方式显示

stat /tmp/|awk -F"[(/]" 'NR==4{print $2}'

8.查出用户UID最大值的用户名、UID及shell类型

cat /etc/passwd |sort -t: -n -k3 |tail -n1