Linux awk 命令详解

简介

awkLinux 中强大的文本处理工具,广泛用于模式匹配扫描,数据提取,文本操作。

使用场景:

  • 解析日志文件

  • 汇总数据

  • 格式化文本输出

  • 从文件中提取指定的信息

历史

awk 由三个人共同创造的,以三个人的 last name 的首字母组成

  • Alfred V. Aho

  • Peter J. Weinberger

  • Brian W. Kernighan

基本语法

awk 'pattern { action }' file

# pattern 是匹配的模式,如正则表达式
# action 是匹配后进行的操作,如:打印,修改等
# file 要操作的文件,如果不指定文件,则从标准输入中读取

核心概念

记录和字段
  • 记录:文件中的每一行作为一个记录

  • 字段:字段是记录的一部分,通过指定的分隔符分割,默认的分隔符是空格,可以通过 -F 选项自定义分隔符

其中,$1$2$<n> 等代表第几个字段

$NF 代表最后一个字段,$0 代表所有记录,即全部内容

abc def,其中 abc 是一个字段,def 是一个字段

模式

可以是正则表达式、数字比较、条件判断等

要执行的操作

定义在花括号 {} 里面

常用示例

打印所有行数据
awk '{ print $0 }' file
打印指定的字段
awk '{ print $1, $3 }' file

# 打印每行的第一个和第三个字段
打印模式匹配的行
awk '/error/ { print $0 }' file

# 打印包含 error 文本的行
使用条件表达式
awk '$3 > 50 { print $1, $2 }' file

# 当第三个字段大于50时打印第一个和第二个字段
使用范围比较表达式
awk 'NR >= 5 && NR <= 10 { print $0 }' file

# NR表示行号
# 以上表示打印第五到第十行的内容
自定义字段分隔符
awk -F ',' '{ print $1, $2 }' file

# 此处指定分隔符为逗号

内建变量

  • $0:所有记录/全部内容

  • $1$1,…:第几个字段

  • NF:当前行的字段数

  • NR:行号

  • FS:字段分隔符

  • OFS:输出的字段分隔符

  • RS:记录分隔符/行分隔符,默认 \n

  • ORS:输出的记录分隔符/行分隔符

高级用法示例

打印行号
awk '{ print NR, $0 }' file
统计字段
awk '{ sum += $3 } END { print "Total:", sum }' file

# 统计每行第三个字段之和
替换字段
awk '{$2 = "REPLACED"; print $0 }' file

# 替换每行的第二个字段值为 REPLACED
打印模式匹配到的行数
awk '/pattern/ { count++ } END { print count }' file
格式化输出
awk '{ printf "Line %d: %s\n", NR, $0 }' file
通过管道处理标准输入
cat file | awk '{ print $1, $2 }'
awk 命令写到脚本里复用

新建 script.awk 文件,写入以下内容:

{ print $1, $NF }

使用 -f 执行脚本文件

awk -f script.awk file
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值