在shell中对多条记录去重

最新推荐文章于 2025-02-24 21:30:00 发布
最新推荐文章于 2025-02-24 21:30:00 发布
阅读量2.5k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/win_turn/article/details/74356900
版权
本文介绍了如何在Linux shell中利用awk和sort + uniq命令对多条记录进行去重操作。首先展示了使用awk命令根据整行数据去重的方法，然后解释了如何通过指定列（如第二列）进行去重。接着提到了sort和uniq组合使用进行去重的示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

awk去重

 

  1. 按照整行的数据进行去重

    echo "a,a,a

    a,b,c

    c,c,c

    b,b,b

    c,c,c" | awk '!(a[$0]++)'

 

  1. 按照第2列的数据进行去重

    echo "a,a,a

    a,b,c

    c,c,c

    b,b,b

    c,c,c" | awk -F',' '!($2 in a){a[$2];print $0}'

 

sort + uniq

 

  •  

    echo "a,a,a

    a,b,c

    c,c,c

    b,b,b

    c,c,c" | sort $1 | uniq

win_turn
关注
spark shell的词频统计，去重，排序及合并 （嚯啊嚯）
qq_43241439的博客
11-29 3201
Spark技术RDD算子spark-shell基础操作wordcount统计去重distinct排序sortByKey合并join RDD算子 RDD有两种类型的操作 ，分别是Transformation（返回一个新的RDD）和Action（返回values）。 1.Transformation：根据已有RDD创建新的RDD数据集build （1）map(func)：对调用map的RDD数据集中的...
通过shell取多条重复数据的最后一条
醉世老翁的博客
06-29 4123
任务说明：日志文件中存在多条记录，现要求取出文件中的某两列，而且是去重，取最新的一条记录（就是取这个ID最后出现的那一行的那两列）脚本代码如下：#shell声明#!/bin/bash#获取最后一行的行号line_desc_num=`awk 'END{print NR}' log.txt`#循环每一行，从第一行开始for i in $line_desc_num#进入循环do#取出这一行的第六列和第七...
Shell实现文本去重并操持原有顺序
01-10
简单来说，这个技巧对应的是如下一种场景 假设有文本如下 代码如下: cccc aaaa bbbb dddd bbbb cccc aaaa 现在需要对它进行去重处理，这个很简单，sort -u就可以搞定，但是如果我希望保持文本原有的顺序，比如这里有两个aaaa，我只是希望去掉第二个aaaa，而第一个aaaa在bbbb的前面，去重后仍旧要在它前面，所以我期望的输出结果是 代码如下: cccc aaaa bbbb dddd 当然，这个问题本身并不难，用C++或python写起来都很容易，但所谓杀机焉用牛刀，能用shell命令解决时，它永远都是我们的首选。答案在最后给出，下面说说我是如何想到这样
shell根据文件某个字段排序，根据某个字段去重
李习的博客
01-18 687
shell根据文件某个字段排序，根据某个字段去重 [root@fd9c6c8d74d5 /]# cat filename tom 1234 shell xiaolixi 345 edit ggg 1234 jjjj view 345 session love 567 you 根据文件某个字段排序，使用sort [root@fd9c6c8d74d5 /]# cat filename|sort -k 3 xiaolixi 345 edit ggg 1234 jjjj view 345 session tom
用Shell完成：CSV文件中的数据去重与计数
最新发布
weixin_42326851的博客
02-24 358
用Shell完成：CSV文件去重与计数
shell去重
萧然
05-08 1535
原始文件 a b a b a b c d c d e f g h 去重后得到： a b c d e f g h
linux 日志去重,Shell 解决Redis Slow Log去重问题
weixin_39827585的博客
05-08 226
老东家监测Redis的慢查询日志，采用Crontab 每隔一段时间对慢查询日志采样,然后追加写入一个文本文件。所以文本文件中有很多重复的慢查询日志如何对整段重复的慢查询日志去重呢？采用Shell 命令的方式最简单和直接。awk'/^1\)/{prints;s=""};{s=(s""$0)};END{prints}'b.txt|sort|uniq|sed's/...
SHELL实现取出一个目录下所有日志文件中的所有IP地址并去重
weixin_34301132的博客
11-17 905
IP正则表达式：ip_regex="[[:digit:]]{1,3}\.[[:digit:]]{1,3}\.[[:digit:]]{1,3}\.[[:digit:]]{1,3}"方法一：find /data/log -name "*.log" -type f -print | xargs cat | egrep -o $ip_regex | sort | uniq方法二（使用...
【Shell脚本中的去重技巧】：如何编写高效且专业的uniq去重脚本
![【Shell脚本中的去重技巧】：如何编写高效...本章将概述Shell脚本中常见的去重方法，为读者提供一个关于如何利用Shell脚本实现数据去重的入门指南。 我们将从简单的去重命令开始，逐步深入到编写复杂的去重脚本，再
【数据去重与分析】：uniq命令在Shell脚本中的5大实战应用
[【数据去重与分析】：uniq命令在Shell脚本中的5大实战应用](https://img-blog.csdnimg.cn/img_convert/3a2a03a9e9d44f070ae7f3a536cbda57.png) # 1. 数据去重与分析概述 在处理数据集时，去重是一个常见的需求，它...
cmd创建用户及表数据去重
11-28
这里的关键在于`rowid`字段，它是Oracle特有的物理地址标识符，用于唯一标识每条记录的位置。 #### 注意事项： 1. **备份**: 在执行任何数据修改操作之前，强烈建议先备份原始数据，以防意外情况导致数据丢失。 2. ...
shell中删除文件中重复行的方法
09-15
主要介绍了shell中删除文件中重复行的方法,需要的朋友可以参考下
shell除去重复的行——uniq命令
JoeBlackZQQ的专栏
07-17 1720
From: http://blog.163.com/redhumor@126/blog/static/1955478420123119218332/ 进行排序之后，您会发现有些行是重复的。有时候该重复信息是不需要的，可以将它除去以节省磁盘空间。不必对文本行进行排序，但是您应当记住 uniq 在读取行时会对它们进行比较并将只除去两个或更多的连续行。下面的示例说明了它实际上是如何
linux脚本去重,Shell脚本去重的几种方法实例
weixin_42324905的博客
05-03 906
Shell脚本去重的几种方法实例测试文件复制代码 代码如下:[root@bogon ~]# cat >testjasonjasonjasonfffffjason按 Ctr + D保存1、sort -u复制代码 代码如下:[root@bogon ~]# sort -u testfffffjason2、uniq复制代码 代码如下:[root@bogon ~]# uniq testjasonfff...
shell去除重复行
米斯特程序猿
06-24 1071
shell去除重复行： 注：uniq只对相邻行做比较，一般结合sort先排序下（以使重复行相邻） sort -n aa.txt | uniq > bb.txt
shell 循环排序剔除重复数据
yuinliu的博客
01-05 384
1.通过循环得到可能出现的数值交叉情况，可能一个数值，可能两个数值，可能三个数值 var_mem_id_2=(100 200 300 400 500 600) for line_01 in ${var_mem_id_2[@]} do echo $line_01 >> file.txt for line_02 in ${var_mem_id_
【Shell】awk命令--输出某列，列求和，列求平均值，列最大值，列去重复，取倒列，过滤行，匹配，不匹配，内置变量|定义分隔符|多个分隔符
bandaoyu的note
04-29 1万+
在awk中运行shell命令 目前我所了解的在awk中运行shell命令 有2中方式实现 1.awk内置函数system 2.通过awk print出要执行的命令 然后交给/bin/bash 执行 awk 内置函数system 执行方法 awk ‘BEGIN{system(“shell命令)}’ 就行 [root@CHSHA-CT-WWW-249 ~]# awk ‘BEGIN{system(“hostname”)}’ CHSHA-CT-WWW-249.360buy.com [root@...
shell脚本去重的几种方法
热门推荐
小白_努力
06-11 5万+
测试文件如下 jason jason jason fffff jason 第一种去重方法： sort -u 文件名 或者 cat 文件名 | sort -u [root@bogon ~]# sort -u test fffff jason 但这样只是将去重后的结果打印在屏幕上，如果想将去重后的内容保存下来，语句为： sort -u 文件名 > 新文件名 或者 cat 文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值