awk 中简单的去重方法

最新推荐文章于 2025-05-13 20:50:28 发布
原创 最新推荐文章于 2025-05-13 20:50:28 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#shell #去重

本文详细介绍了使用awk和sort结合实现数据去重的方法，并提供了实际应用案例，旨在帮助开发者提升代码效率。

 一个简单的去重方法：

awk '!($1 in a){a[$1];print $1}'

 

同样达到效果的

sort $1 | uniq 

awk按照文件第2列去重复
qq_21478261的博客
07-18 393
awk '!seen[$2]++'依次类推。
Linux-Shell-awk&指定列去重
热门推荐
The One
09-20 1万+
zgrep -a PlayerEnterInfo Audit_2016-08-02.tgz|awk -F, '{ar[$7]=$0}; END{for (i in ar) print ar[i];}' #$7为指定的列数， ar[]是awk中的队列#!/bin/bash # coding=utf-8 # auth Lee at 20160120Date=`date +%F -d '-1 da
awk去重
huanpipeng0560的博客
08-26 419
awk去重以某列重复的行 [root@localhost cc]# cat 2.txt adc 3 5 a d a a 3 adf a d b a 3 adf 去重第一列重复的行： [root@localhost cc]# cat 2.txt |awk ‘!a[$1]++{print}’ adc 3 5 a d a 重复的行取最上面一行记录 去重以第一列和第二列重复的行： [root@localhost cc]# cat 2.txt |awk ‘!a[$1" "$2]++{print}’ adc 3 5 a
AWK去重
weixin_33709590的博客
10-16 961
|awk'!a[$1]++' 转载于:https://blog.51cto.com/xficc/1703403
awk去重总结
xuejinliang的专栏
05-05 6088
awk去重总结： 翻看了http://blog.chinaunix.net/uid-2598756-id-293231.html文章，总结下awk去重 file1 aaa 111 bbb 222 ccc 333 ddd 444 aaa 111 bbb 222 方法一： awk ‘++a[$0]==1{print $0}’  file1 or  awk ‘{if(++a[$0]=
Linux-对文本某列去重-并统计个数-awk
To_Get_Life
03-14 5187
awk '{print $2}' test.txt |sort |uniq |wc -l 待处理文本如下： $ cat test.txt 10003141 98 优秀 10003446 80 良好 10003460 85 优秀 10003967 50 不及格 10004205 70 及格 10004526 88 优秀 10005500 98 优秀 10005583 65 及格 1000567...
AWK对文本按行或按域进行去重
tree2011的专栏
05-02 2565
首先AWK是按行进行处理的，每行代表一个记录
awk之利用数组去重
weixin_34307464的博客
04-23 776
对于awk '!a[$3]++'，需要了解3个知识点 1、awk数组知识，不说了。 2、awk的基本命令格式 awk 'pattern{action}' 省略action时，默认action是{print}，如awk '1'就是awk '1{print}' 3、var++的形式：先读取var变量值，再对var值+1 以数据为例: 1 2 3 1 2 3 1...
awk文件内去重
weixin_34342905的博客
07-25 527
最近沉迷于shell,沉迷于sed/awk/正则加了个群，今天有人提出了个问题解释下awk '!a[$0]++' file一看之下，首先是想到又用到awk的hash，又是缺省的pattern，一下子来了兴趣，做了以下的分析这个要从awk的执行模式开始说，最后结合++运算符，和hash特色有三个基本知识点是要了解的1：a++的作用是先附值，再累加a，与++a正好相反。2：has...
深入理解 awk ‘! a[$0]++’ 去重
运维打怪晋级之路
06-08 3271
深入理解 awk ‘! a[$0]++’ 去重 近期和同事回顾一下shell脚本，awk ‘! a[$0]++’ 去重复不太好理解？我整理了一下希望能帮助大家理解； ”!” 即非； a[$0]，以$0为数据下标，建立数组a a[$0]++，即给数组a赋值，a[$0]+=1，注意a++和++a的区别，a++是先输出值后加1 awk当pattern为1即为真时，执行action，此时action为空执行print $0 在shell中没有赋值的变量默认是char类型是空值，后面有++后数组被定义为int型，初
shell awk、去重、排序
感谢你的关注~~~~ღ( ´･ᴗ･` )
06-03 2009
数据
awk命令 去掉重复行
江晓龙的博客
09-24 3943
linux awk命令 去掉重复行 1.打印指定列 域信息 more lance3333.txt | awk -F ":" '{print $3}'|awk '{print $3}' 2.把文件中的重复行 写入 lance444 awk 'a[$0]++' lance.txt >> lance444.txt 3.把 lance.txt 文件中的不重复行 写入 lance333 awk '!a[$0]++' lance.txt >> lance3333.txt 4.查询文件夹
day7-排序-去重-awk
最新发布
日常分享linux运维知识
05-13 377
本文介绍了Linux系统中常用的文本处理命令及其应用场景。首先，sort命令用于对文件或管道内容进行排序，支持按数字、列、分隔符等多种方式进行排序，并可结合head命令提取前几行。其次，uniq命令用于去重，常与sort搭配使用，支持显示重复次数。此外，awk命令用于提取指定列，支持倒数列的操作。最后，文章展示了如何利用这些命令进行日志分析，例如统计IP出现次数或分析密码破解尝试的IP地址。这些命令在文件处理、数据分析和日志监控中具有广泛的应用。
awk 不排序去重
chonglianguang7366的博客
07-12 244
awk -F'\n' '{for (i = 1; i <= NF; i++){++word[$i];if (word[$i] == 1) printf("%s","\t" $i)}printf("\n")}' newipsect.all.spare.txt| sed -e'/^$/d;s...
sed与awk去除重复行
alnx37271的博客
08-29 1318
1 如果仅仅是删除内容完全一样重复行 则可以使用sort先进行排序然后使用 uniq进行删除重复数据即可 例如 CUST.TXT Txt代码 130000006800,17,151,01,250100 130000006800,17,151,01,250101 1300001077,17,151,01,256600 ...
AWK去重脚本
xjtudxw的专栏
03-10 548
<br />awk 去重脚本：<br /> <br />--cat test.txt<br />aa<br />bb<br />aa<br />bb<br />cc<br />aa<br />cc<br /> <br />->  awk '!a[$0]++'  test.txt <br />-输出：<br />aa<br />bb<br />cc<br /> <br />->awk '{print a[$0]++}' test.txt   <br />0<br />0<br />1<br />1<br />
Linux用awk去掉重复列的几种情况
pwerdu91的博客
06-29 5016
Linux用awk去掉重复列的几种情况
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值