awk用法简介

最新推荐文章于 2025-11-26 16:19:37 发布

转载最新推荐文章于 2025-11-26 16:19:37 发布 · 396 阅读

文章标签：

#awk

工具软件同时被 2 个专栏收录

41 篇文章

订阅专栏

makefile+shell

17 篇文章

订阅专栏

转载链接：https://chhy2009.github.io/2017/07/08/awk/

与sed工具类似，awk是一种优秀的行文本处理工具。其具有内置的变量和函数，可以进行正则表达式的匹配，流程控制，数学运算。事实上，可以说awk是一种编程语言。

awk程序结构

任何awk语句都由模式(pattern)及动作(action)组成。其中模式是一组用于测试输入行是否需要执行动作的规则，动作则是找到匹配内容后的执行动作（包含语句、函数和表达式的执行过程）。调用方式
awk [-F field-separator] 'pattern{action}' filename 其中，pattern和action都可以省略不写。无pattern默认匹配全部的记录；而无action则是打印原始记录。简单的AWK表达式之外，pattern可以是BEGIN或END；这两种条件对应的action分别是读取所有的记录之前和之后。 filename可以用｜输入替代。

几个概念

BEGIN 及 END 语句
awk定义了两个特殊字段BEGIN和END，分别在程序开始前和结束前执行，相当于类的构造及析构函数。 awk的执行过程：执行BEGIN语句，然后按行处理输入文本，最后执行END语句。
记录和域
awk 认为纪录是结构化的，awk将输入文件按行处理，行中每个字符串定义为域，域中用分隔符分隔(通常以空格或, :等分隔)，如：

lrwxr-xr-x     1 root         wheel      8 Jun 26  2016 bin
lrwxr-xr-x     1 root         wheel      8 Jun 26  2016 include

上面的输入有2行，每行有9个域
域在awk中用$N表示，其中N＝1、2..., $0表示整条纪录

awk编程

awk 内置变量
AWK的内建变量包括域变量，例如$1, $2, $3，以及$0。这些变量给出了记录中域的内容。内建变量也包括一些其他变量：

- NR：已输入记录的条数。
- NF：当前记录中域的个数。记录中最后一个域可以以$NF的方式引用。
- FILENAME：当前输入文件的文件名。
- FS：“域分隔符”，用于将输入记录分割成域。其默认值为“空白字符”，即空格和制表符。FS可以替换为其它字符，从而改变域分隔符。
- RS：当前的“记录分隔符”。默认状态下，输入的每行都被作为一个记录，因此默认记录分隔符是换行符。
- OFS：“输出域分隔符”，即分隔print命令的参数的符号。其默认值为空格。
- ORS：“输出记录分隔符”，即每个print命令之间的符号。其默认值为换行符。
- OFMT：“输出数字格式”（Format for numeric output），其默认值为"%.6g"。

函数 awk内置和很多函数，当然也可以自定义函数，示例如下：

awk '
function add_three (number) {
  return number + 3
}
BEGIN {result=add_three(1); print result}
'

上面的例子输出4.

awk脚本可以使用awk脚本的方式来执行awk命令，awk脚本模版如下，与命令行方式类似：

  #! /bin/awk -f
  BEGIN{}
  {}
  END{}

匹配
可以使用
```
awk 'BEGIN {FS=","} {if($1~/xxx/) print $2 >>data.txt}' filename 
```
来提取匹配的域，其中xxx为匹配的正则表达式
- 格式化可以使用printf来代替print，输出格式化的文本。格式符和c语言类似，常用的为％d，％s，
- 循环及条件语句 awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。
条件语句为if/else，与C语言也相同

awk中使用shell命令
1. 通过getline函数，获取命令执行结果
通过在awk内使用管道,可以把shell命令的输出传送给awk
$ awk 'BEGIN{ "date" | getline date; print date; }' Sat Jul 8 22:04:20 HKT 2017如果不使用管道，则getline默认从标准输入读取输入字符，这时不能当命令执行；
可以使用<，让getline从文件中读取内容
1. 使用awk内置system函数
```
awk 'BEGIN{system("ls -l")}' 
```
执行结果如下：
```
total 16
lrwxr-xr-x     1 root         wheel      8 Jun 26  2016 X11 -> /opt/X11
lrwxr-xr-x     1 root         wheel      8 Jun 26  2016 X11R6 -> /opt/X11
drwxr-xr-x     3 root         wheel    102 Feb 27  2016 adic
drwxr-xr-x  1055 root         wheel  35870 Jun 19  2016 bin
...
```
搭配getline使用，则为：
awk 'BEGIN{while(system("ls -l") | getline line) {print line}}' 3. 使用awk print出要执行的命令，然后交给/bin/bash处理
```
awk 'BEGIN{print "ls -l"|"bash"}'
```
以下是一篇比较好的文章，可供参考：
linux awk命令详解
 awk官方文档

注意：
可以将awk命令写在文件中，然后用awk -f awk-script-file filename 方式执行，其中脚本中的#!/bin/sh改为#!/bin/awk 当变量不从管道输入awk时，awk无法引用已经定义的变量