AWK用法

最新推荐文章于 2022-07-05 20:08:37 发布

45° 微笑

最新推荐文章于 2022-07-05 20:08:37 发布

阅读量659

点赞数 3

CC 4.0 BY-SA版权

分类专栏： awk 文章标签： awk

本文链接：https://blog.youkuaiyun.com/nange_nice/article/details/77855799

awk 专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了AWK的工作原理，包括BEGIN和END语句块的执行顺序，以及如何根据pattern和action处理输入数据。还探讨了AWK的变量，如内置变量FS、OFS、NR等，以及如何定义自定义变量。此外，文章阐述了AWK的pattern匹配，包括正则表达式、关系表达式和行范围。最后，总结了AWK的常用action，包括各种表达式、控制语句和输出语句。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

AWK工作原理

第一步：执行BEGIN{action;… }语句块中的语句
第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{action;… }语句块，它逐行扫描文件，从第
一行到最后一行重复这个过程，直到文件全部被读取完毕。
第三步：当读至输入流末尾时，执行END{action;…}语句块BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块pattern语句块中的通用命令是最重要的部分，也是可选的。如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行， awk读取的每一行都会执行该语句块

AWK用法介绍

基本用法：

awk [options] ‘program’ var=value file…

awk [options] -f programfile var=value file…

awk [options] ‘BEGIN{ action;… } pattern{ action;… } END{action;… }’ file …

awk 程序通常由： BEGIN语句块、能够使用模式匹配的通用语句块、END语句块，共3部分组成

program通常是被单引号或双引号中

选项：

-F 指明输入时用到的字段分隔符

-v var=value: 自定义变量

基本格式： awk [options] ‘program’ file…

program：pattern{action statements;..}

1、pattern和action：
• pattern部分决定动作语句何时触发及触发事件，也可以用正则表达式匹配， 但要用扩展正则表达式，例如：BEGIN，END，/pattern/
• action statements对数据进行处理，放在{}内指明，例如：print， printf

2、 program要放在单引号里，放在双引号里默认打印全部

3、分割符、域和记录
• awk执行时，由分隔符分隔的字段（域）标记 $1, $2.. $n称为域标识。 $0为所有域，注意：和shell中变量 $符含义不同
• 文件的每一行称为记录
• 省略action，则默认执行 print $0 的操作

print格式： print item1, item2, …

• 逗号分隔符

• 输出的各item可以字符串，也可以是数值；当前记录的字段、变量或awk的表达式

• 如省略item，相当于print $0

• awk里输出内置变量不用加 $，只有域标识才加 $

例：
awk '{print "hello,awk"}'
awk -F: '{print}' /etc/passwd
awk –F: '{print $1}' /etc/passwd
awk –F: '{print $0}' /etc/passwd
awk –F: '{print $1"\t"$3}' /etc/passwd

printf：格式化输出： printf “FORMAT” , item1, item2, …

必须指定FORMAT

不会自动换行，需要显式给出换行控制符， \n

FORMAT中需要分别为后面每个item指定格式符

printf 格式符：与item一一对应

%c: 显示字符的ASCII码

%d, %i: 显示十进制整数

%e, %E:显示科学计数法数值

%f：显示为浮点数

%g, %G：以科学计数法或浮点形式显示数值

%s：显示字符串

%u：无符号整数

%%: 显示%自身

printf 修饰符：

[.#]：第一个数字控制显示的宽度；第二个#表示小数点后精度， %3.1f

-：左对齐（默认右对齐） %-15s

+：显示数值的正负符号 %+d

eg：
awk -F: '{printf "%s",$1}' /etc/passwd
awk -F: '{printf "%s\n",$1}' /etc/passwd
awk -F: '{printf "%-20s %10d\n",$1,$3}' /etc/passwd
awk -F: '{printf "Username: %s\n",$1}' /etc/passwd
awk -F: '{printf “Username: %s,UID:%d\n",$1,$3}' /etc/passwd
awk -F: '{printf "Username: %15s,UID:%d\n",$1,$3}' /etc/passwd
awk -F: '{printf "Username: %-15s,UID:%d\n",$1,$3}' /etc/passwd

AWK变量

内置变量

FS：输入字段分隔符，默认为空白字符

[root@centos7 ~]#awk -v FS=':' '{print $1,FS,$3}' /etc/passwd
root : 0
bin : 1
...
zabbix : 988
test : 1004
[root@centos7 ~]#awk -F: '{print $1,$3,$7}' /etc/passwd
root 0 /bin/bash
bin 1 /sbin/nologin
...
zabbix 988 /sbin/nologin
test 1004 /bin/bash

OFS：输出字段分隔符，默认为空白字符

[root@centos7 ~]#awk -v FS=':' -v OFS=':' '{print $1,$3,$7}' /etc/passwd
root:0:/bin/bash
bin:1:/sbin/nologin
...
zabbix:988:/sbin/nologin
test:1004:/bin/bash

RS：输入记录分隔符，指定输入时的换行符，原换行符仍有效

[root@centos7 ~]# cat 1.txt 
a b c d e f
[root@centos7 ~]# awk -v RS=' ' '{print}' 1.txt 
a
b
c
d
e
f

ORS：输出记录分隔符，输出时用指定符号代替换行符

[root@centos7 ~]# cat 1.txt 
a
b
c
d
[root@centos7 ~]# awk -v ORS='**' '{print}' 1.txt
a**b**c**d**[root@centos7 ~]#

NF：字段数量

awk -F: '{print NF}' /etc/fstab,引用内置变量不用\$
awk -F: '{print $(NF-1)}' /etc/passwd

NR：行号

awk '{print NR}' /etc/fstab; awk END'{print NR}' /etc/fstab

FNR：各文件分别计数,行号

awk '{print FNR}' /etc/fstab /etc/inittab

FILENAME：当前文件名

awk '{print FILENAME}' /etc/fstab

ARGC：命令行参数的个数

awk '{print ARGC}' /etc/fstab /etc/inittab
awk 'BEGIN {print ARGC}' /etc/fstab /etc/inittab

ARGV：数组，保存的是命令行所给定的各参数

awk 'BEGIN {print ARGV[0]}' /etc/fstab /etc/inittab
awk 'BEGIN {print ARGV[1]}' /etc/fstab /etc/inittab

自定义变量

自定义变量(区分字符大小写)
1. -v var=value
2. 在program中直接定义

eg:
awk -v test='hello gawk' '{print test}' /etc/fstab
awk -v test='hello gawk' 'BEGIN{print test}'
awk 'BEGIN{test="hello,gawk";print test}'
awk -F: '{sex="male";print $1,sex,age;age=18}' /etc/passwd

AWK的pattern

PATTERN:根据pattern条件，过滤匹配的行，再做处理

(1)如果未指定：空模式，匹配每一行
(2) /regular expression/：仅处理能够模式匹配到的行，需要用/ /括起来

awk '/^UUID/{print $1}' /etc/fstab
awk '!/^UUID/{print $1}' /etc/fstab

(3) relational expression: 关系表达式，结果为“真”才会被处理
真：结果为非0值，非空字符串
假：结果为空字符串或0值

awk -F: 'i=1;j=1{print i,j}' /etc/passwd
awk '!0' /etc/passwd; 
awk '!1' /etc/passwd
awk –F: '$3>=1000{print $1,$3}' /etc/passwd

(4) line ranges：行范围
startline,endline： /pat1/,/pat2/ 不支持直接给出数字格式

awk -F: '/^root\>/,/^nobody\>/{print $1}' /etc/passwd
awk -F: '(NR>=10&&NR<=20){print NR,$1}' /etc/passwd

(5) BEGIN/END模式
BEGIN{}: 仅在开始处理文件中的文本之前执行一次
END{}：仅在文本处理完成之后执行一次

awk -F : 'BEGIN {print "USER USERID"} {print \$1":"\$3}END{print "end file"}' /etc/passwd

AWK的action

常用的action分类

(1) Expressions:算术，比较表达式等

(2) Control statements： if, while等

(3) Compound statements：组合语句

(4) input statements

(5) output statements： print等
AWK语法==>