linux之使用uniq删除重复内容

最新推荐文章于 2025-03-17 11:07:06 发布
原创 最新推荐文章于 2025-03-17 11:07:06 发布 · 423 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux

uniq命令用于删除文本文件中连续重复的行，结合sort命令可以有效统计非连续重复行。-i选项忽略大小写，-c选项显示重复行的计数。注意uniq只对比相邻行，若需删除所有重复行，需先用sort排序。

uniq: 如果文件中有多行完全相同的内容，那么uniq能删除重复的行且还能统计出完全相同的行出现的次数。使用的语法如下：

uniq [-ic]

常用参数使用说明：
-i: 忽略大小写
-c: 计算重复行数

uniq命令使用的数据如下：
在这里插入图片描述

uniq命令使用需要注意的是：该命令只会对比相邻的行，如果有连续相同的若干行则删除重复内容，仅输出一行。如果相同的行不连续，则该命令不具备删除效果。 例如：
在这里插入图片描述
由此可知，uniq一般都需要和sort命令使用。
在这里插入图片描述
统计重复的内容的行数：
在这里插入图片描述

4、linux命令-uniq过滤和去除重复行命令详解
xuebo1129927648的博客
05-28 190
bash。
Linux常用命令之uniq命令详解
weixin_56303229的博客
12-26 1101
uniq 命令是 Linux 系统中用于处理文本文件的工具之一，主要用于检查和删除文本文件中重复出现的行。它的工作原理是基于相邻行之间的比较，这意味着 uniq 只会移除连续的重复行，而对于非连续的重复行则无能为力。
linux 下的文本处理——除去重复行uniq命令
473687880
10-31 1150
原文地址：http://blog.51yip.com/shell/1022.html 一，uniq干什么用的 文本中的重复行，基本上不是我们所要的，所以就要去除掉。linux下有其他命令可以去除重复行，但是我觉得uniq还是比较方便的一个。使用uniq的时候要注意以下二点 1，对文本操作时，它一般会和sort命令进行组合使用，因为uniq 不会检查重复的行，除非它们是相邻的行...
uniq命令 去除文件中的重复行
01-09
uniq命令全称是“unique”，中文释义是“独特的，唯一的”。该命令的作用是用来去除文本文件中连续的重复行，中间不能夹杂其他文本行。去除了重复的，保留的都是唯一的，也就是独特的，唯一的了。 我们应当注意的是，它和sort的区别，sort只要有重复行，它就去除，而uniq重复行必须要连续，也可以用它忽略文件中的重复行。 语法格式：uniq [参数] [文件] 常用参数： -c 打印每行在文本中重复出现的次数 -d 只显示有重复的纪录，每个重复纪录只出现一次 -u 只显示没有重复的纪录 参考实例 删除连续文件中连续的重复行： [root@linuxcool ~]# cat
『运维备忘录』之利用 uniq 命令轻松去重
流浪字节的博客
02-28 740
uniq是英文unique（唯一）的缩写。uniq 命令的作用是删除文件中的重复行。 uniq 命令读取由 InFile 参数指定的标准输入或文件。该命令首先比较相邻的行，然后除去第二行和该行的后续副本（如果两端相同内容，但中间夹杂了其他文本行，则需要先使用sort命令进行排序后再去重）。
uniq 命令 – 去除文件中的重复内容行
weixin_69217438的博客
04-28 1153
uniq 命令的功能是用于去除文件中的重复内容行。uniq 命令能够去除掉文件中相邻的重复内容行，如果两端相同内容中间夹杂了其他文本行，则需要先使用 sort 命令进行排序后再去重复，这样保留下来的内容就都是唯一的了。
uniq-linux命令 实现去除重复行
qq_36457702的博客
06-24 731
linux 操作
Linux Shell学习：uniq命令使用方法介绍
07-30
使用`uniq test`命令，它会删除连续重复的行，结果如下： ``` boy took bat home girl took bat home dog brought hat home ``` 然而，如果需要查看每行出现的次数，可以使用`-c`参数： ``` uniq -c test ``` 这...
linux中uniq c命令详解,Linux系统中uniq命令的基本使用教程
weixin_42357916的博客
05-01 1万+
uniq [选项] 文件说明：这个命令读取输入文件，并比较相邻的行。在正常情况下，第二个及以后更多个重复行将被删去，行比较是根据所用字符集的排序序列进行的。该命令加工后的结果写到输出文件中。输入文件和输出文件必须不同。如果输入文件用“- ”表示，则从标准输入读取。该命令各选项含义如下：、– c 显示输出中，在每行行首加上本行在文件中出现的次数。它可取代- u和- d选项。– d 只显示重复行。– ...
Linux系统sort排序与uniq去重
持续分享，个人的运维经验，包含：云计算、Linux、Windows、容器、K8s、CICD、Python、运维开发、公有云等；以及个人经历相关内容，包含：实习、面试经验等。
06-10 1054
工作中数据太多太杂，不便于查看分析。这时是可以采用sort将数据排序，同时可以配合uniq命令进行去重。场景：云平台中，日常工作包含巡检工作，是通过事先编写好的巡检脚本去检测云平台的和Node节点（Linux系统）的健康情况。有问题的信息会打印保存在日志中，这里面包含了很多IP（Node），而且具有大量重复IP（成百上千个IP等）。为了定位到哪些Node节点存在问题以及都有什么问题。为了便于分析查看，需要对其IP进行排序以及去重处理。
linux之去重uniq命令详解
热门推荐
qq_43382735的博客
10-28 1万+
linux之去重uniq命令详解 uniq是对文本文件进行行去去重的工具。 以行为单位，进行行与行之间的字符串比较并进行去重 只能对有序的文本行进行有效去重，所以常与sort命令结合使用 参数 解释 -c 统计行出现的次数 -d 只显示重复的行并且去重 -u 只显示唯一的行 -i 忽略字母大小写 -f 忽略前N个字段（字段间用空白字符分隔） 1.与sort结合使用 准备文件 [root@linuxforliuhj test]# cat hello.sh hello
删除重复行的命令uniq
解启超
03-22 696
uniq有3个最为常用的选项，见如下列表： 选项 命令描述 -c 可在每个输出行之前加上该行重复的次数 -d 仅显示重复的行 -u 显示为重复的行 [root@xieqichao ~]# cat testfile hello world friend hello world hello 直接删除未经排序的文件，将会...
Linux uniq 命令详解：用于去除文件或标准输入中的重复行
yangchuang111213的博客
03-17 1485
uniq命令是一个非常实用的工具，可以帮助我们高效地去除文本中的重复行。根据需求，它还可以显示每行出现的次数、只显示重复行或唯一行，甚至可以对特定字段进行处理。通过结合使用sort命令，uniq可以处理更复杂的数据去重任务。
Linux 删除重复文件
wjmonster的博客
11-19 500
删除重复文件的脚本 原理 找出某个目录中同一文件的所有副本，保留单个副本的同时删除其他副本。 脚本内容及注释 #！/bin/bash #文件名：remove_duplicates.sh #用途：查找并删除重复文件，每个文件只保留一份 ls -lS --time-style=long-iso | awk 'BEGIN { #将当前目录下所有文件按大小排序并列出详细信息 # awk读取ls ...
Linux 命令之uniq 删除重复行
禧年
05-20 3078
1.1简述 uniq 命令用于检查及删除文本中重复出现的行列；如果使用该命令不加任何命令行参数，则视为删除指定文本文件当中重复的行之后进行输出； 如果指定输出文件，则输出到指定文件当中。   1.2 uniq wc.data 将wc.data 文件中的内容输出到data目录中，他会自己创建，不需要提前创建。 1.3高频选项参数 -c :在每列旁边显示该行重复出现的次数。 -u :仅显示出现一次的行     【转载注明出处，还望尊重原创 】   【作者水平有限
linux 相同内容的行如何删除,Linux Shell教程 - 如何删除重复的文本行
weixin_42352351的博客
05-06 455
需要对日志文件中的数据进行排序，但是有太多重复的行。 如何从GNU/Linux下的文本文件中删除所有重复的行？您需要使用shell管道以及以下两个Linux命令行实用程序来排序和删除重复的文本行：1、sort命令 - 在Linux和类Unix系统中对文本文件行进行排序。2、uniq命令 - 在Linux或Unix上运行或省略重复的行使用Sort，Uniq和Shell管道删除重复行使用以下语法：so...
linux去除文件中重复行,2.25 uniq（检查及删除文本文件中重复出现的行列）
weixin_33595317的博客
04-29 545
2.25 uniq(检查及删除文本文件中重复出现的行列)(1)频度等级：☆(2)功能说明：uniq 命令用于检查及删除文本文件中重复出现的行列。(3)语法：uniq[-cdu][-f][-s][-w][--help][--version][输入文件][输出文件](4)所属包：coreutils(5)相关命令：sort(6)使用技巧：uniq 命令必须应用到有序的文件才能达到预期的效果，所以在使...
uniq 去除重复行
weixin_30852451的博客
04-25 346
1.命令功能 uniq可以输出或忽略文件中的重复行，经常需要使用sort先对文件进行排序，然后使用uniq去重并计数。 2.语法格式 uniq option input uniq 选项 文件或标准输入 参数 参数说明 -c 去除重复行，并计算每行出现的次数 -d 只打印重复行 ...
linux uniq去重
国苏
05-17 806
uniq命令用于报告或忽略文件中的重复行，一般与sort命令结合使用。参数-c或——count：在每列旁边显示该行重复出现的次数； -d或--repeated：仅显示重复出现的行列； -f<栏位>或--skip-fields=<栏位>：忽略比较指定的栏位； -s<字符位置>或--skip-chars=<字符位置>：忽略比较指定的字符； -u或——unique：仅显示出一次的行列； -w<字符位置>或
linux 对文件内容删除重复项
最新发布
08-13
在Linux系统中删除文件中的重复内容，可以使用多种方法，包括命令行工具和脚本编写。以下是一些常用的方法： ### 使用 `sort` 和 `uniq` 命令 1. **`sort` 命令**：首先对文件内容进行排序，因为 `uniq` 命令只能处理已排序的数据。 ```bash sort filename.txt > sorted_filename.txt ``` 2. **`uniq` 命令**：用于去除相邻的重复行。 ```bash uniq sorted_filename.txt unique_filename.txt ``` 如果需要保留唯一行，可以使用 `-u` 选项；如果需要只显示重复行，可以使用 `-d` 选项。 ### 使用 `awk` 命令 `awk` 是一种强大的文本处理工具，可以直接用来删除重复行。 ```bash awk '!seen[$0]++' filename.txt > unique_filename.txt ``` 这个命令会读取每一行，并将其作为键存储在数组 `seen` 中。如果该行没有出现过，则输出该行。 ### 使用 `perl` 脚本 Perl 脚本也可以用来删除文件中的重复行。 ```bash perl -ne 'print unless $seen{$_}++' filename.txt > unique_filename.txt ``` 这段脚本的工作原理与 `awk` 类似，它通过哈希表来跟踪已经见过的行。 ### 使用 `sed` 命令 虽然 `sed` 不是专门用于去重的工具，但可以通过一些技巧实现简单的去重功能。 ```bash sed '$!N; /^\(.*\)\n\1$/!P; D' filename.txt ``` 这个命令通过将当前行与下一行比较来删除相邻的重复行。 ### 使用 `sort` 和 `awk` 结合 有时结合多个命令可以更灵活地处理数据。 ```bash sort filename.txt | awk '!seen[$0]++' ``` 这会先对文件内容进行排序，然后使用 `awk` 删除重复行。 ### 使用 `sort` 和 `uniq` 的组合 如果你需要统计每行出现的次数，可以使用 `uniq -c`。 ```bash sort filename.txt | uniq -c ``` 这会给出每行出现的次数，方便进一步分析。 以上方法可以根据具体需求选择使用，以达到删除文件中重复内容的目的。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

永远不要矫情

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值