awk去重

本文介绍了两种使用awk命令去除文件中重复数据的方法。方法一是通过判断数组元素是否存在,方法二是利用数组记录已出现的数据并打印首次出现的行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

项目github地址:bitcarmanlee easy-algorithm-interview-and-practice
欢迎大家star,留言,一起学习进步

awk的基本命令格式 awk ‘pattern{action}’
省略action时,默认action是{print},如awk '1’就是awk ‘1{print}’

利用数组去重
方法一:

awk '!a[$3]++' file

以数据为例:
1 2 3
1 2 3
1 2 4
1 2 5

awk处理第一行时: 先读取a[$3]值再自增,a[$3]即a[3]值为空(0),即为awk ‘!0’,即为awk ‘1’,即为awk ‘1{print}’
awk处理第二行时: 先读取a[$3]值再自增,a[$3]即a[3]值为1,即为awk ‘!1’,即为awk ‘0’,即为awk ‘0{print}’

最后实现的效果就是对于$3是第一次出现的行进行打印,也就是去除$3重复的行。

方法二:

awk '!($3 in a){a[$3];print}' file

这句的作用也一样,如果$3的值不是在a数组的下标中,那么把$3存入数组下标中,并打印。执行到第2行时,$3的值是3,已经存在于数组a的下标中,则不会执行后面的{action}。同样达到去重目的。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值