shell脚本---awk命令

最新推荐文章于 2025-07-04 17:10:16 发布

原创最新推荐文章于 2025-07-04 17:10:16 发布 · 659 阅读

0 ·

CC 4.0 BY-SA版权

shell脚本专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍了Awk命令的工作原理及应用技巧，包括其处理流程、特殊变量、控制语句和函数等内容，并通过实例展示了如何利用Awk进行文本处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息

awk处理过程: 依次对每一行进行处理，然后输出

awk命令形式:

awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file

[-F|-f|-v] 大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value

' ' 引用代码块

BEGIN 初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符

// 匹配代码块，可以是字符串或正则表达式

{} 命令代码块，包含一条或多条命令

；多条命令使用分号分隔

END 结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息

特殊要点:

$0 表示整个当前行

$1 每行第一个字段

NF 字段数量变量

NR 每行的记录号，多文件记录递增

FNR 与NR类似，不过多文件记录不递增，每个文件都从1开始

\t 制表符

\n 换行符

FS BEGIN时定义分隔符

RS 输入的记录分隔符，默认为换行符(即文本是按一行一行输入)

~ 匹配，与==相比不是精确比较

!~ 不匹配，不精确比较

== 等于，必须全部相等，精确比较

!= 不等于，精确比较

&&　逻辑与

|| 逻辑或

+ 匹配时表示1个或1个以上

/[0-9][0-9]+/ 两个或两个以上数字

/[0-9][0-9]*/ 一个或一个以上数字

FILENAME 文件名

OFS 输出字段分隔符，默认也是空格，可以改为制表符等

ORS 输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕

-F'[:#/]' 定义三个分隔符

IF语句

必须用在{}中，且比较内容用()扩起来

数值比较：== != > >=

多条件逻辑：&&　||

匹配://纯字符匹配 !//纯字符不匹配 ~//字段值匹配 !~//字段值不匹配 ~/a1|a2/字段值匹配a1或a2

模式 pattern{action}

/regular expression/

relational expression

BEGIN

END

pattern, pattern

数组表达式

array[index] = value

for (item in array)

if (index in array)

算术函数

1. 生成随机数函数：rand()、srand(x)

2. 整数函数：int(x)

3. 三角函数：sqrt(x)、cos(x)、sin(x)、atan2(y,x)、 log(x)、exp(x)

字符串函数（10个）

1. 分割字符串：split(s,a,sep)

2. 格式化函数：sprintf("fmt", expr)

3. 子串函数：index(s,t)、substr(s,p,n)

4. 字符串长度：length(s)

5. 替换函数：sub(r,s,t)、gsub(r,s,t)

6. 大小写转换： tolower(s)、 toupper(s)

7. match函数：match(s,r)

“底部抽屉”函数：getline函数、close()、system()

注意：getline与next的区别。

控制语句： exit、next

控制语句： if、for、while、do while、break、continue

输出函数：printf、sprintf

%-width.precision format-specifier

awk执行shell命令

[root@localhost html]# echo "abc"|awk '{cmd="ls $1";system(cmd);}'
50x.html i.ip index.html
[root@localhost html]# echo "abc"|awk '{cmd=sprintf("echo %s",$1);system(cmd);}'
abc

base64加密

[root@localhost html]# echo "attytbc"|awk '{cmd=sprintf("echo -n %s|base64",$1);system(cmd);}'
YXR0eXRiYw==
[root@localhost html]# echo "YXR0eXRiYw=="|awk '{cmd=sprintf("echo -n %s|base64 -d",$1);system(cmd);}'
attytbc[root@localhost html]#

按位操作

awk中没有左移、右移、按位取反、按位与、按位或、按位异或的操作符，只能用函数。

lshift(val, count)、rshift(val, count)、compl(val)、and(v1, v2)、or(v1, v2)、xor(v1, v2)。

如将字符串ip转换成数值ip：

[root@localhost html]# cat i.ip
192.168.1.107
[root@localhost html]# cat i.ip |awk 'BEGIN{FS="."}{ip1=lshift($1,24);ip2=lshift($2,16);ip3=lshift($3,8);ip4=$4;ip=ip1+ip2+ip3+ip4;print ip}'
3232235883

再将数值ip转换为字符串ip：

[root@localhost html]# cat i.ip
3232235883
[root@localhost html]# cat i.ip|awk '{ip1=rshift(and($1,0xff000000),24);ip2=rshift(and($1,0xff0000),16);ip3=rshift(and($1,0xff00),8);ip4=and($1,0xff);print ip1"."ip2"."ip3"."ip4}'
192.168.1.107