linux下的几种文本去重方法

最新推荐文章于 2023-04-07 13:47:39 发布

renxingzhadan

最新推荐文章于 2023-04-07 13:47:39 发布

阅读量1.2k

点赞数

分类专栏： Linux 文章标签： linux 运维服务器

原文链接：https://blog.youkuaiyun.com/ichen820/article/details/126106051

版权

Linux 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了两种文本去重的方法：一种是使用传统的cat、sort和uniq命令组合实现；另一种是利用awk命令进行高效去重。此外，还展示了如何通过awk命令灵活处理多个文件，并输出去除重复项后的结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、传统方法：cat xx | sort | uniq

优点：简单直接缺点：顺序乱了

2、awk命令去重输出：awk ‘!x[$0]++’ filename

应用扩展1：cat Afile Bfile|awk '!x[$0]++' >Cfile

依次输出A、B两个文件内容，去掉B中与A重复的行，输出到C；多应用于日志拼接。

灵活扩展2：cat Afile|awk '!x[$0]++'

也可以写作：awk '!x[$0]++' Afile

去掉重复的行，输出A文件