awk是一个超级强大的文本格式化处理工具,他与grep, sed命令被成为linux 三剑客命令
三剑客命令的特点:
grep:只要用来匹配和查找文本
sed: 编辑匹配到文本
awk: 格式化文本,可以对复杂文本进行处理
awk语法格式:awk [options] ‘program’ file1 file2 …
其中,program包含两部分:‘pattern{action}’,最常用的两个action就是print和printf,如果学过c语言,你就知道,他们专门由于格式化字符串, awk把处理过的格式文本,用他们输出
1,不使用任何选项,模式和action, awk就相当于输出整个文件,awk的工作方式是:逐行扫描. 默认情况下 扫描行的时候,用空格分割列,输出的时候也是空格
使用print这个动作,打印文件所有的内容.
root$ cat lsx.txt
this is lsx
how are you
fine thank you
bye bye
root$ awk ‘{print}’ lsx.txt
this is lsx
how are you
fine thank you
bye bye
2,把ls -l 的结果通过管道交给awk逐行扫描处理,$1打印每一行的第一列,$3:每一行的第三列,$9就是第9列了…
root$ ls -l
total 4
-rw-rw-r-- 1 lsx lsx 51 5月 21 23:23 lsx.txt
root$ ls -l | awk '{print $1}'
total
-rw-rw-r--
root$ ls -l | awk '{print $3}'
lsx
root$ ls -l | awk '{print $9}'
lsx.txt
root$ cat lsx.txt
this is lsx
how are you
fine thank you
bye bye
root$ awk '{print $3}' lsx.txt
lsx
you
you
3,0表示整行,0表示整行,0表示整行,NF表示当前行分割后的最后一列,他们都是内置变量
root$ awk '{print $0}' lsx.txt
this is lsx
how are you
fine thank you
bye bye
root$ awk '{print $NF}' lsx.txt
lsx
you
you
bye
4,一次列出多列,使用逗号隔开要输出的列
root$ cat lsx.txt
this is lsx
how are you
fine thank you
bye bye
root$ awk '{print $1, $3}' lsx.txt
this lsx
how you
fine you
bye
文件最后一行,没有第三列,所以没有输出任何东西
5,也可以加上自定义的列
lsx@dev:~/linux/awk$ ls
lsx.txt
lsx@dev:~/linux/awk$ awk '{print "name:" $1, "age:" $2, "sex:" $3}' lsx.txt
name:lsx age:20 sex:man
name:zhangsan age:22 sex:woman
name:lisi age:23 sex:woman
lsx@dev:~/linux/awk$ cat lsx.txt
lsx 20 man
zhangsan 22 woman
lisi 23 woman
6,数字前面有美元符号的,是awk的内置变量,不能加引号,否则会把他们当做字符串原样输出
lsx@dev:~/linux/awk$ awk '{print "$1"}' lsx.txt
$1
$1
$1
lsx@dev:~/linux/awk$ awk '{print $1}' lsx.txt
lsx
zhangsan
lisi
lsx@dev:~/linux/awk$ awk '{print "first-cloumn:"$1}' lsx.txt
first-cloumn:lsx
first-cloumn:zhangsan
first-cloumn:lisi
7,以下两种写法,都表示输出整行
lsx@dev:~/linux/awk$ awk '{print $0}' lsx.txt
lsx 20 man
zhangsan 22 woman
lisi 23 woman
lsx@dev:~/linux/awk$ awk '{print}' lsx.txt
lsx 20 man
zhangsan 22 woman
lisi 23 woman
8,BEGIN模式,在AWK扫描行之前,执行
在扫描行之前,打印aa,bb
lsx@dev:~/linux/awk$ awk 'BEGIN{print "aa", "bb"}' lsx.txt
aa bb
如果胜省略文件,BEGIN模式依然会执行
lsx@dev:~/linux/awk$ awk 'BEGIN{print "aa", "bb"}'
aa bb
BEGIN有什么用?我们可以在扫描文件的行之前,为每个列都加上表头信息
lsx@dev:~/linux/awk$ cat lsx.txt
lsx 20 man
zhangsan 22 woman
lisi 23 woman
lsx@dev:~/linux/awk$ awk 'BEGIN{print "name", "age", "sex"} {print $1, $2, $3}' lsx.txt
name age sex
lsx 20 man
zhangsan 22 woman
lisi 23 woman
9,扫描每一行,在每一行的后面加上自定义的列
lsx@dev:~/linux/awk$ awk 'BEGIN{print "name", "age", "sex"} {print $1, $2, $3} {print "展昭", 20, "man"}' lsx.txt
name age sex
lsx 20 man
展昭 20 man
zhangsan 22 woman
展昭 20 man
lisi 23 woman
展昭 20 man
10, 扫描完所有的行,在加上自己自定义的列信息,可以用END模式
lsx@dev:~/linux/awk$ awk 'BEGIN{print "name", "age", "sex"} {print $1, $2, $3} END{print "展 昭", 20, "man"}' lsx.txt
name age sex
lsx 20 man
zhangsan 22 woman
lisi 23 woman
展昭 20 man