awk -f 分隔符 命令_linux awk 命令实用手册

0，简介

Linux awk 是一个实用的文本处理工具，它不仅是一款工具软件，也是一门编程语言。awk 的名称来源于其三位作者的姓氏缩写，其作者分别是Alfred Aho，Peter Weinberger 和 Brian Kernighan。

如果你在linux 系统中追踪awk，可以看到其最终指向的是/usr/bin/gawk，也就是gawk 命令。其GNU官方手册 权威且全面，但对于初学者并不是很友好，因为内容非常多，你可能不知从何看起。对于普通用户，一般也用不到非常复杂的功能。

如果一个文件由规则的多个列组成，则非常适合使用awk 来处理。本文介绍awk 常用方法，对于普通使用者应该是足够了。

1，基本概念

awk 命令会对文本文件的每一行进行处理，其语法格式如下：

awk `参数` `pattern {action}` `filename`

pattern 是要匹配的规则，action 是要执行的动作，只有匹配了pattern 的行，才会执行动作action。

这句命令的含义是：对于文件filename 的每一行，如果能够符合条件pattern，则执行动作action。如果不写pattern，则表示对于文件filename的每一行，都进行action 处理。

1.1，参数

awk 最常使用的参数是-F，其后跟一个分隔符或者正则表达式，其表示的意思是以怎样的规则对每一行进行分割。 默认是空格或Tab键。

1.2，pattern

pattern 可以是下表中的任意一项：

1.3，action

action 由awk 语句组成，比如print，用于输出。

2，awk 内置变量

awk 中内置了很多变量，来方便使用，这里介绍一些常用的：

3，awk 内建函数

awk 常用函数如下：

4，awk 运算符

awk 支持如下常用运算符：

5，awk 使用案例

假如，我们有如下文件，分别为姓名，性别，年龄，成绩，等级和省份：

>>> cat log.txt 
_________________
小明,男,23,550^优秀---北京
小丽,女,22,560^优秀---河北
小磊,男,24,530^良好---河南
小召,男,23,540^优良---山东
小欣,女,23,545^优良---山西

5.1 使用-F

以逗号, 为分隔符，并将第1列，第2列和第3列输出，如下：

>>> awk -F, '{print $1,$2,$3}' log.txt 
______________________________________
小明 男 23
小丽 女 22
小磊 男 24
小召 男 23
小欣 女 23

当分隔符只有一个字符时，分割符可以紧挨-F，还有如下几种写法：

awk -F , '{print $1,$2,$3}' log.txt     #`分隔符`与`-F`之间有一个空格
awk -F',' '{print $1,$2,$3}' log.txt    #`分隔符`用单引号引住，并且紧挨`-F`
awk -F"," '{print $1,$2,$3}' log.txt    #`分隔符`用双引号引住，并且紧挨`-F`
awk -F ',' '{print $1,$2,$3}' log.txt   #`分隔符`用单引号引住，与`-F`之间有空格
awk -F "," '{print $1,$2,$3}' log.txt   #`分隔符`用双引号引住，与`-F`之间有空格

当分隔符有多个连续字符时，必须用双引号或者单引号引住分割符，可以紧挨-F，也可以有空格：

awk -F '---' '{print $2}' log.txt   #`分隔符`用单引号引住，与`-F`之间有空格
awk -F"---" '{print $5}' log.txt    #`分隔符`用双引号引住，与`-F`之间没有空格

以上两个命令输出的内容一样，此时分隔符为---，每一行都被分成了两列，如下：

小明,男,23,550^优秀 北京
小丽,女,22,560^优秀 河北
小磊,男,24,530^良好 河南
小召,男,23,540^优良 山东
小欣,女,23,545^优良 山西

当有多个单独的分割符时，将多个分隔符写在中括号[]中，如下，表示以, 或者以--- 为分隔符：

>>> awk -F "[,^]" '{print $1, $2, $3, $4, $5}' log.txt 
________________________
小明 男 23 550 优秀---北京
小丽 女 22 560 优秀---河北
小磊 男 24 530 良好---河南
小召 男 23 540 优良---山东
小欣 女 23 545 优良---山西

5.2 使用内置变量

我们用变量NR输出当前行号，变量NF输出当前行的列数，变量FILENAME输出当前文件名，如下：

>>> awk -F"---" '{print NR, $1, $2, NF, FILENAME}' log.txt
__________________________________________________________
1 小明,男,23,550^优秀 北京 2 log.txt
2 小丽,女,22,560^优秀 河北 2 log.txt
3 小磊,男,24,530^良好 河南 2 log.txt
4 小召,男,23,540^优良 山东 2 log.txt
5 小欣,女,23,545^优良 山西 2 log.txt

5.3 如何连接字符串

我们将每一列使用竖线| 分割，方法是将分隔符用双引号引住，然后紧挨变量，如下：

>>> awk -F"---" '{print NR"|"$1"|"$2"|"NF"|"FILENAME}' log.txt
__________________________________
1|小明,男,23,550^优秀|北京|2|log.txt
2|小丽,女,22,560^优秀|河北|2|log.txt
3|小磊,男,24,530^良好|河南|2|log.txt
4|小召,男,23,540^优良|山东|2|log.txt
5|小欣,女,23,545^优良|山西|2|log.txt

5.3 使用内置函数

使用内置函数systime() 输出时间戳，如下：

>>> awk -F"---" '{print NR"|"$1"|"$2"|"NF"|"FILENAME"|"systime()}' log.txt
—————————————————————————————————————————————
1|小明,男,23,550^优秀|北京|2|log.txt|1587022443
2|小丽,女,22,560^优秀|河北|2|log.txt|1587022443
3|小磊,男,24,530^良好|河南|2|log.txt|1587022443
4|小召,男,23,540^优良|山东|2|log.txt|1587022443
5|小欣,女,23,545^优良|山西|2|log.txt|1587022443

使用length 输出行长度大于5 的行：

>>> awk 'length>5' log.txt
——————————————————————————
小明,男,23,550^优秀---北京
小丽,女,22,560^优秀---河北
小磊,男,24,530^良好---河南
小召,男,23,540^优良---山东
小欣,女,23,545^优良---山西

5.4 使用pattern

使用pattern 只输出男 同学信息，$0 表示每一行的原始内容，如下：

>>> awk '/男/ {print NR"|"$0}' log.txt
__________________________
1|小明,男,23,550^优秀---北京
3|小磊,男,24,530^良好---河南
4|小召,男,23,540^优良---山东

5.5 使用逻辑非!

使用逻辑非!，输出不为男的学生信息：

>>> awk '!/男/ {print NR"|"$0}' log.txt
__________________________
2|小丽,女,22,560^优秀---河北
5|小欣,女,23,545^优良---山西

5.6 使用关系表达式

使用关系表达式，输出年龄为23 的学生信息：

# 以逗号分割后的第三列为年龄
>>> awk -F, '$3==23 {print $3, $0}' log.txt
____________________________
23 小明,男,23,550^优秀---北京
23 小召,男,23,540^优良---山东
23 小欣,女,23,545^优良---山西

也可以写成如下方式，输出年龄为23或25 的学生信息：

>>> awk -F, '$3==23 || $3==25' log.txt
________________________
小明,男,23,550^优秀---北京
小召,男,23,540^优良---山东
小欣,女,23,545^优良---山西

5.7 使用模式匹配表达式

使用模式匹配表达式，输出年龄为24 的学生信息：

awk -F, '$3 ~/24/ {print $3, $0}' log.txt
24 小磊,男,24,530^良好---河南

5.8 使用if 语句

awk 也支持if 语句，输出年龄为22 的学生信息，if 语句写在大括号{}内：

>>> awk -F, '{if($3==22) print $3, $0}' log.txt
___________________________
22 小丽,女,22,560^优秀---河北

5.9 使用NR 输出基数行

# `NR % 2 == 1` 为基数行
>>> awk -F, 'NR % 2 == 1 {print NR, $0}' log.txt
——————————————————————————
1 小明,男,23,550^优秀---北京
3 小磊,男,24,530^良好---河南
5 小欣,女,23,545^优良---山西

5.10 使用NF 输出倒数第一列

$(NF) 为倒数第1列，$(NF-1) 为倒数第2列，$(NF-2) 为倒数第3列，依次类推。

如下输出倒数第1列：

>>> awk -F, '{print $(NF)}' log.txt
______________
550^优秀---北京
560^优秀---河北
530^良好---河南
540^优良---山东
545^优良---山西

5.11 使用BEGIN 块

BEGIN 块中可以是任意多个合法的awk 语句。

>>> awk -F, 'BEGIN{print "姓名", "性别", "年龄"} {print $1, $2, $3}' log.txt 
____________
姓名 性别 年龄
小明 男 23
小丽 女 22
小磊 男 24
小召 男 23
小欣 女 23

5.12 使用END 块

END 块中可以是任意多个合法的awk 语句，BEGIN 块与END 块可以一起使用。

>>> awk -F, 'BEGIN{print "姓名", "性别", "年龄"} {print $1, $2, $3} END{print "共有"NR"行信息"}' log.txt 
____________
姓名 性别 年龄
小明 男 23
小丽 女 22
小磊 男 24
小召 男 23
小欣 女 23
共有5行信息

5.13 使用范围模板

输出小丽和小欣之间的行数据：

>>> awk '/小丽/,/小欣/' log.txt 
______________________________
小丽,女,22,560^优秀---河北
小磊,男,24,530^良好---河南
小召,男,23,540^优良---山东
小欣,女,23,545^优良---山西

（完。）