Linux 之 awk 命令

最新推荐文章于 2024-04-18 22:16:42 发布

syztoo

最新推荐文章于 2024-04-18 22:16:42 发布

阅读量355

点赞数

CC 4.0 BY-SA版权

分类专栏： Linux

本文链接：https://blog.youkuaiyun.com/weixin_42595012/article/details/88989429

Linux 专栏收录该内容

32 篇文章

订阅专栏

本文详细介绍了Awk命令的功能和用法，包括其作为文本处理工具的强大能力、基本语法、模式匹配、动作执行以及内置函数等内容。通过实例展示了如何利用Awk进行文本格式化和数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简单介绍

awk 是由 Alfred Aho 、Peter Weinberger、Brian Kernighan 这三个人创造的，所以 awk 名字是由这三个人姓氏的首字母组成。

awk 是一个报告生成器，拥有强大的文本格式化能力，我们可以利用 awk 命令，将一些文本处理成我们想要的样子，比如整理成 " 表格 " 的样子。

awk 是一个行编辑器；

awk 其实是一门编程语言，支持条件判断，数组，循环等功能，所以 awk 也是一个脚本语言解释器；

awk、sed、grep 并称为 Linux 三剑客，其中 grep 适合单纯的查找或匹配文本，sed 适合编辑匹配到的文本（特别是庞大的文本文件），而 awk 则长于对文本进行复杂的格式化处理；

语法

        awk [options] 'pattern{action}' file1,file2...

        awk [-F|-v] 'BEGIN{ commands }  pattern{ commands }  END{ commands }' file1,file2...

options

1） options省略时，以空白字符为分隔符；

2） -F 指定分隔符；

3） -v 设置变量；

变量分内置变量和自定义变量；

内置变量：

      FS：输入分隔符，默认为空白字符；

      OFS：输出分隔符，默认为空白字符；

      RS：输入换行符，指定输入时的换行符；

      ORS：输出换行符，输出时用指定符号代替换行符；

      NF：当前行的字段的个数，即当前行被分割成了几列；

      NR：行号，当前处理的文本行的行号；

      FNR：各文件分别计数的行号，awk处理多文件时，分别计数各文件行号；

      FILENAME：当前文件名；
 
      ARGV：数组，保存的是命令行所给定的各参数；
      
      ARGC：命令行参数的个数；

自定义变量可以在 options 中指定，也可以在 '{ }' 程序段中指定，区别是前者可以调用 shell 中的变量，然后传参给 '{ }' 程序段；

4） --posix 当 patter 部分使用正则模式的次数匹配时 {m,n}，搭配使用该选项；

pattern

pattern，模式，也叫条件，只要被 pattern 匹配到的文本行，都执行 action 部分的动作。

1） pattern 省略时，表示空模式，空模式会匹配文本当中的每一行，对每一行都执行 action 部分的动作；

2） BEGIN/END 模式

      BEGIN{ commands }   # 处理文本之前执行的动作；

      END{ commands }     # 文本处理之后执行的动作；

3）关系运算模式

      >    <    ==    !=    >=    <=     ~    !~

~ 和！~ 搭配正则表达式进行模式匹配，eg：

      [root@Python ~]# df 
      文件系统                   1K-块    已用    可用 已用% 挂载点
      /dev/mapper/centos-root 17811456 8719660 9091796   49% /
      devtmpfs                  914752       0  914752    0% /dev
      tmpfs                     931624       0  931624    0% /dev/shm
      tmpfs                     931624   10092  921532    2% /run
      tmpfs                     931624       0  931624    0% /sys/fs/cgroup
      /dev/sda1                1038336  165968  872368   16% /boot
      tmpfs                     186328       0  186328    0% /run/user/0
      [root@Python ~]# df | awk '$6~/^\/run/{print $0}'
      tmpfs                     931624   10092  921532    2% /run
      tmpfs                     186328       0  186328    0% /run/user/0

4）正则模式

pattern 部分正则模式匹配要放入两个斜线中，语法如下：

      awk [options] '/正则表达式/{action}' file

注1：如果正则表达式中包含 '/' 要使用 '\' 进行转义；

注2：awk 默认使用扩展正则表达式；

注3：使用 {m,n} 进行次数匹配时需要使用 --posix 选项，不然会报错；

5）行范围模式

语法：

      awk [options] '/正则1/,/正则2/{action}' file

action

action，动作，分为两大类，输出语句和控制语句；

1、输出语句

1） action 省略

如若省略 action，则表示被 pattern 匹配到的行都打印出来，及默认{ print $0 }；

2） print 简单打印

可打印字符串，也可将 pattern 匹配到的行打印至屏幕，同时可结合位置变量打印我们需要的字段至屏幕；

常用位置变量：

      $0   $1...$n    $NF   $(NF-1)

$NF表示当前行的最后一个字段；

3） printf 格式化打印

printf() 是C语言中的一个函数，linux 的 printf 命令模仿了该函数，可以按照我们指定的格式输出文本；awk 工具嵌入了 printf 命令，让 action 部分可以格式化打印文本；

printf 核心功能为格式替换符和转义字符；

格式替换符：

      -                  左对齐

      Width              域的步长，用0表示0步长

      .prec              最大字符串长度，或小数点右面的位数

      %c                 ASCII字符

      %d                 整型

      %e                 科学计数法
  
      %f                 浮点型 #使用小数点后2位%.2f （用于除法后）

      %g                 awk决定哪种浮点数转换e或者f

      %o                 八进制
 
      %s                 字符串

      %x                 十六进制

转义字符：

      \n                 换行

      \r                 回车

      \t                 水平制表符

      \v                 垂直制表符
      
      \f                 换页

      \b                 backspace 删除前面一个字符，前提是\b后面要存在字符

      \c                 不显示输出结果中的换行字符

举个栗子：

[root@syztoo ~]# awk -F: 'BEGIN{ printf "%-10s\t%s\n" , "用户名称","用户ID" } { printf "%-10s\t%s\n" , $1,$3 }' /etc/passwd    
用户名称        用户ID
root            0
bin             1
daemon          2
adm             3
lp              4
sync            5
shutdown        6
halt            7
mail            8
operator        11
games           12
ftp             14
nobody          99
systemd-network 192
dbus            81
polkitd         999
sshd            74
postfix         89
chrony          998
ntp             38
tcpdump         72
nscd            28
nginx           997
mysql           27
dockerroot      996
tss             59
syztoo          1000

2、控制语句

1） if

语法：

      awk [options] 'pattern{if(条件){输出语句}}' file

2） if...else

语法：

      awk [options] 'pattern{if(条件){输出语句}else{输出语句}}' file

3） if...else if...else

语法：

      awk [options] 'pattern{if(条件){输出语句}else if(条件){输出语句}else{输出语句}}' file

4） for

for循环语法格式1：

for(初始化; 布尔表达式; 更新) { 代码语句 }

栗子：

[root@syztoo ~]# awk 'BEGIN{ for(i=1; i<=5; i++) { print i} }'  
1
2
3
4
5

for循环语法格式2：

for( 变量 in 数组 ) { 代码语句 }

栗子：

[root@syztoo ~]# awk 'BEGIN{arr[1]="dog";arr[2]="cat";arr[3]="pig"; for(i in arr){ print arr[i] }}'   
dog
cat
pig

5） while

语法：

while( 布尔表达式 ) { 代码语句 }

栗子：

[root@syztoo ~]# awk -v n=1 'BEGIN{ while (n<=5) {print n; n++}}' 
1
2
3
4
5

[root@syztoo ~]# awk 'BEGIN{ n=2 ; while (n<=5) {print n; n++}}'           
2
3
4
5

6） do...while

语法：

do { 代码语句 } while( 条件 )

7）break，continue

awk 与其他编程语言一样，在 for 或者 while 循环中，也可以使用 break 和 continue 来跳出循环，break 跳出整个循环，continue 跳出本次循环。

栗子：

[root@syztoo ~]# awk 'BEGIN{ n=1 ; while (n<=10) { if (n>=5) { break }; print n; n++ }}'     
1
2
3
4

[root@syztoo ~]# awk 'BEGIN{ n=1; while(n<=10) { n++; if(n%2==1) { continue }; print n }}'             
2
4
6
8
10

8）exit

在 shell 中，exit 表示退出当前脚本，在 awk 中，也可使用 exit，表示退出整个 awk 命令；

栗子：

[root@syztoo ~]# awk 'BEGIN{ print 1 ; exit ; print 2 ; print 3 }'                    
1

数组

awk 中的数组不需要向 java 一样提前进行声明。

栗子：

[root@syztoo ~]# awk 'BEGIN{animal[1]="dog";animal[2]="cat";animal[3]="pig";for(i in animal){print i,animal[i]}}'
1 dog
2 cat
3 pig

awk 创造数组时，除了手动创建，也可直接使用系统中已经定义好的数组，通过 -v 变量传入即可。

还可以使用 awk 内置 split 函数，将一段文本按指定分隔符进行分割，然后将分割后的字段保存为一个数组，只不过该数组的索引不是从0开始，而是从1开始；

举个栗子：

[root@syztoo ~]# echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/local/java/bin:/usr/local/java/jre/bin:/usr/local/maven/bin:/usr/local/python3/bin:/root/bin
[root@syztoo ~]# awk -v x=$PATH 'BEGIN{split(x, path, ":"); for(i in path) {print i,path[i]}}'  
4 /usr/bin
5 /usr/local/java/bin
6 /usr/local/java/jre/bin
7 /usr/local/maven/bin
8 /usr/local/python3/bin
9 /root/bin
1 /usr/local/sbin
2 /usr/local/bin
3 /usr/sbin

再举个实际应用的栗子，统计文本中某个 IP 地址出现的次数；

[root@syztoo ~]# cat test.txt
192.168.1.1
192.168.1.4
192.168.1.2
192.168.1.4
192.168.1.2
192.168.1.3
192.168.1.3
192.168.1.3
[root@syztoo ~]# awk '{ip[$1]++} END{for(i in ip){print i,ip[i]}}' test.txt
192.168.1.1 1
192.168.1.2 2
192.168.1.3 3
192.168.1.4 2

内置函数

awk 中的内置函数大致分为算术函数、字符串函数、时间函数和其他函数等。

1、算术函数

最常用的有 rand 、srand 、int 函数。

[root@syztoo ~]# awk 'BEGIN{ print rand() }'
0.237788
[root@syztoo ~]# awk 'BEGIN{ print rand() }'
0.237788
[root@syztoo ~]# awk 'BEGIN{ print rand() }'
0.237788

rand 函数返回一个 0 到 1 之间的随机数，但使用 rand 函数时，需要配合 srand 函数，否则就会出现上面的执行结果。

[root@syztoo ~]# awk 'BEGIN{ srand(); print rand() }'
0.863585
[root@syztoo ~]# awk 'BEGIN{ srand(); print rand() }'
0.298565
[root@syztoo ~]# awk 'BEGIN{ srand(); print rand() }'
0.89975

如果想生成一个 0 到 10 之间的整数，可以将随机数 * 10 然后用 int 函数取整即可。

[root@syztoo ~]# awk 'BEGIN{ srand(); print int(rand()*10) }'
9
[root@syztoo ~]# awk 'BEGIN{ srand(); print int(rand()*10) }'
8
[root@syztoo ~]# awk 'BEGIN{ srand(); print int(rand()*10) }'
5

2、字符串函数

常用的字符串函数有 gsub、sub、length、index、split 函数等。

[root@syztoo ~]# cat a.txt
hell0
i am syzt00
what are y0u d0ing
[root@syztoo ~]# awk '{ gsub("0","o",$1); print $0 }' a.txt 
hello
i am syzt00
what are y0u d0ing
[root@syztoo ~]# awk '{ gsub("0","o",$0); print $0 }' a.txt 
hello
i am syztoo
what are you doing
[root@syztoo ~]# awk '{ gsub("0","o"); print $0 }' a.txt   
hello
i am syztoo
what are you doing

gsub 函数接收三个参数，第一个是要替换的字符（可以使用正则），第二个要替换成什么字符，第三个是选择要替换的列（省略时，默认为 $0，全部替换）。

sub 函数与 gsub 函数类似，区别在于 gsub 函数会替换指定范围内所有符合条件的字符，而 sub 函数只会替换指定范围内第一次匹配到字符。

[root@syztoo ~]# cat a.txt
hell0
i am syzt00
what are y0u d0ing
[root@syztoo ~]# awk '{ gsub("0","o"); print $0 }' a.txt
hello
i am syztoo
what are you doing
[root@syztoo ~]# awk '{ sub("0","o"); print $0 }' a.txt
hello
i am syzto0
what are you d0ing

length 函数可以获取字符串长度。

[root@syztoo ~]# awk '{ print $1,length($1) }' a.txt
hell0 5
i 1
what 4

index 函数返回字符串的位置。

[root@syztoo ~]# cat a.txt
hell0
i am syzt00
what are y0u d0ing
[root@syztoo ~]# awk '{ print index($0,"0") }' a.txt 
5
10
11
[root@syztoo ~]# awk '{ print index($0,"00") }' a.txt 
0
10
0
[root@syztoo ~]# awk '{ print index($3,"00") }' a.txt 
0
5
0

index 接受两个参数，第一个参数指定索引范围（表示整行时，$0 不能省略），第二个参数指定要查找的字符串。匹配机制是，没有匹配到返回 0，第一次匹配到就返回索引位置（不会再往后面匹配）。

split 函数可将字符串分隔，然后保存为数组。

[root@syztoo ~]# echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/local/java/bin:/usr/local/java/jre/bin:/usr/local/maven/bin:/usr/local/python3/bin:/root/bin
[root@syztoo ~]# awk -v x=$PATH 'BEGIN{split(x, path, ":"); for(i in path) {print i,path[i]}}'  
4 /usr/bin
5 /usr/local/java/bin
6 /usr/local/java/jre/bin
7 /usr/local/maven/bin
8 /usr/local/python3/bin
9 /root/bin
1 /usr/local/sbin
2 /usr/local/bin
3 /usr/sbin

注意 split 函数分隔后的数组索引是从 1 开始，split 函数也有返回内容，返回分隔后的数组长度。

[root@syztoo ~]# awk -v x=$PATH 'BEGIN{ print split(x, path, ":") }'                                  
9

三元运算

格式：

condition ? result 1 ： result 2

如果条件成立，执行 result 1 ，否则执行 result 2

栗子：

[root@syztoo ~]# awk -F: '{ $3 < 1000? a++: b++ } END{ print a,b }' /etc/passwd
26 1

打印奇偶行

[root@syztoo ~]# cat a.txt
1 hello
2 i am syztoo
3 what are you doing
4 hi syztoo
5 i just got up
6 i will play basketball later
7 would you like to join me
8 ok 
9 see you later

打印奇数行：

[root@syztoo ~]# awk 'a=!a' a.txt
1 hello
3 what are you doing
5 i just got up
7 would you like to join me
9 see you later

打印偶数行：

[root@syztoo ~]# awk '!(a=!a)' a.txt
2 i am syztoo
4 hi syztoo
6 i will play basketball later
8 ok