awk_对某一列进行去重

最新推荐文章于 2022-04-24 17:25:08 发布
原创 最新推荐文章于 2022-04-24 17:25:08 发布 · 2.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#awk

本文介绍如何使用awk命令处理文件中的重复记录，并保留每组中最后一次出现的行。具体实现方式为利用awk创建一个数组来跟踪每一列的第一项，并在处理结束时输出这些唯一项。

awk对文件某一列去重，保留最后一行

awk命令：awk '{a[$1]=$0}END{for(i in a)print a[i]}' a.txt > b.txt

去重前：

去重后：

awk按照文件第2列去重复
qq_21478261的博客
07-18 395
awk '!seen[$2]++'依次类推。
Linux-对文本某列去重-并统计个数-awk
To_Get_Life
03-14 5187
awk '{print $2}' test.txt |sort |uniq |wc -l 待处理文本如下： $ cat test.txt 10003141 98 优秀 10003446 80 良好 10003460 85 优秀 10003967 50 不及格 10004205 70 及格 10004526 88 优秀 10005500 98 优秀 10005583 65 及格 1000567...
awk根据某列内容去重
little^raccoon
02-20 2490
awk '!a[$1" "$2]++{print}' text.txt 原理 ”!” 非 a[$0]，以$0为数据下标，建立数组a a[$0]++，即给数组a赋值，a[$0]+=1
使用awk对某列去重并且可保留其他列
胡渣大叔的技术专栏
01-11 2006
同事说需要统计日志中按url的path去重之后的结果，结果中要保留参数。相同url不同参数的，只保留第一行。 理论上各种命令都是流式处理，一行一行的处理。每道命令都相当于一个过滤器。比如你要按某列去重，则事先把数据cut到只剩你需要去重的这一列。对url中的path做sort+uniq。 但是这样会导致参数都没了。所以不能用这个。 最后成功的命令如下：
[awk点滴]对某一列数据去重
orangleliu 笔记本
08-05 6572
# tail -100 invoice.log  2014-08-05 10:00:03,105 - invoice - ERROR - 22038 - total_amount_is_0| failure |bill_confirm id is 1351 2014-08-05 10:00:03,159 - invoice - ERROR - 22038 - total_amount_is_0
awk 指定列 排序 去重统计
qiezikuaichuan的专栏
02-09 5593
hadoop fs  -text  /////20170205/00/*   | awk  '{print $2}'  | sort | uniq  | wc -l
Linux-Shell-awk&指定列去重
热门推荐
The One
09-20 1万+
zgrep -a PlayerEnterInfo Audit_2016-08-02.tgz|awk -F, '{ar[$7]=$0}; END{for (i in ar) print ar[i];}' #$7为指定的列数， ar[]是awk中的队列#!/bin/bash # coding=utf-8 # auth Lee at 20160120Date=`date +%F -d '-1 da
Linux shell命令统计某列去重后的值
09-15
### Linux Shell 命令统计某列去重后的值 #### 概述 本文主要介绍如何使用 Linux Shell 命令来实现对文本文件中某列数据进行去重并统计的过程。具体应用场景为：根据 MAC 地址获取其对应的硬件版本和软件版本，并...
awk去重
最新发布
10-23
- **示例**：对文件`data.txt`的第2列去重 ```bash awk '!a[$2]++' data.txt ``` ### 2. 按整行去重（保留首次出现） - **命令**：`awk '!a[$0]++' 文件名` - **示例**：对文件`log.txt`整行去重 ```bash awk ...
shell如何去重输出某一列
06-07
另外，如果你想对整个文件进行去重，不仅要输出某一列，还要去掉文件中所有重复的行，可以使用以下命令： ```shell awk '!a[$0]++' filename ``` 其中，`$0`表示整行文本，`filename`是要处理的文件名。这个命令会...
awk根据某列删除重复行
yanlinpu的博客
04-24 1131
cat a.txt 1,"https://www.baidu.com",3 2,"https://www.a.com",3 2,"https://www.b.com",4 3,"https://www.a.com",4 3,"https://www.a.com",5 3,"https://www.c.com",5 2,"https://www.b.com",6 2,"https://www.b.com",6 删除第一列重复的行，只保留第一条数据 $ cat a.txt | awk -F ',' '..
awk文件内去重
weixin_34342905的博客
07-25 527
最近沉迷于shell,沉迷于sed/awk/正则加了个群，今天有人提出了个问题解释下awk '!a[$0]++' file一看之下，首先是想到又用到awk的hash，又是缺省的pattern，一下子来了兴趣，做了以下的分析这个要从awk的执行模式开始说，最后结合++运算符，和hash特色有三个基本知识点是要了解的1：a++的作用是先附值，再累加a，与++a正好相反。2：has...
shell编程——awk列处理常用知识
不定期分享数据库相关内容。
11-03 320
示例文本文件/tmp/jackin jackin1 28 hangzhou jackin2 30 shenzhen jackin3 32 shanghai zhangsan1 33 hangzhou zhangsan2 34 foreign zhangsan3 18 beijing awk的BEGIN、END BEGIN{}大括号里： 只运行一次，在文本处理开始前运行 {}大括号里： 针对每一行进行处理 END{}大括号里： 只运行一次，在文本处理结束后运行 举例说明 ca.
list对oracle结果集排序了_帮助你排序文本文件的 Awk 命令行或脚本 | Linux 中国
weixin_39905816的博客
11-12 143
Awk 是一个强大的工具，可以执行某些可能由其它常见实用程序(包括 sort)来完成的任务。-- Seth KenlonAwk 是一个强大的工具，可以执行某些可能由其它常见实用程序(包括sort)来完成的任务。Awk 是个普遍存在的 Unix 命令，用于扫描和处理包含可预测模式的文本。但是，由于它具有函数功能，因此也可以合理地称之为编程语言。令人困惑的是，有不止一个 awk。(或者，如...
linux awk--根据A列去重后按照B列统计
weixin_30256505的博客
06-07 506
日志统计源格式 Ingest null xy.pull.yximgs.com gifshow gL4C7H60iB4 null 15.06 30014 2125237 Ingest null xy01.pull.yximgs.com gifshow BsXEEB9bRvs null 25.12 30014 4252273 Ingest null pl7.live.panda.tv live_p...
awk 去重的同时并保持原来的顺序
weixin_30260399的博客
09-27 188
#-----------awk.awk------------ { if(data[$0]++ == 0) lines[++count] = $0} END { for (i=1;i<=count;i++) print lines[i]} 脚本用法如下： awk -f awk.awk text_to_process cat text_to_p...
awk实现去重输出
豆子
04-07 399
alias myuniq="awk 'BEGIN{a[\"\"]=1}{if(!(\$0 in a)){print \$0;a[\$0]=1}}'" awk 'BEGIN{a[""]=1}{if(!($0 in a)){print $0;a[$0]=1}}'
sed与awk去除重复行
alnx37271的博客
08-29 1318
1 如果仅仅是删除内容完全一样重复行 则可以使用sort先进行排序然后使用 uniq进行删除重复数据即可 例如 CUST.TXT Txt代码 130000006800,17,151,01,250100 130000006800,17,151,01,250101 1300001077,17,151,01,256600 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值