shell中uniq与sort -u 两种去重的对别

最新推荐文章于 2023-12-18 15:45:33 发布
转载 最新推荐文章于 2023-12-18 15:45:33 发布 · 228 阅读 · 0
文章标签：

#shell

本文对比了sort-u和uniq命令在处理重复记录方面的差异。通过示例演示了uniq仅能移除连续重复项，而sort-u则先排序再去除所有重复项。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

转自：http://blog.youkuaiyun.com/b_h_l/article/details/20694919

sort -u 和 uniq都能起到删除重复信息的功能，那么他们的区别究竟在哪呢？
$ cat test              
jason
jason
jason
fffff
jason

下面分别执行三个命令

1：sort -u test

sort -u test
fffff
jason

2: uniq test

$uniq test 
jason
fffff
jason 

 3: sort test|uniq

$sort test |uniq 
fffff
jason

从上面三个命令我们很容易看出他们之间的区别。uniq所谓的重复是连续出现的相同记录

shell之常用小工具（sort、uniq、tr、cut）
m0_71521555的博客
08-06 1025
shell之常用小工具（sort、uniq、tr、cut）
Shell脚本中管道的几种使用实例讲解
09-15
`history`列出用户的历史命令，`awk '{print $2}'`提取出命令本身，`sort`对命令进行排序，`uniq -u`去重，`sort -rn`按降序排列，最后`head -5`取出前五个。 第四个例子演示了如何查看哪些用户的登录shell是`/bin/...
shell中的uniq与sort命令
qq_36417677的博客
02-19 294
sort命令 sort命令通常用来排序，命令的一些常见用法： 命令用法 说明 sort -n 纯数字排序 sort -r 倒叙 sort -u 去掉重复数字 sort -o 输出到指定文件中 sort -t 指定分隔符 sort -k 指定要排序的列 sort -rn 反向纯数字排序 sort -rn numbers -o file 反向纯数字排序并将结...
shell--sort、uniq等
weixin_55609951的博客
05-24 471
一、sort命令----以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序 以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序 语法格式 sort [选项] 参数 cat file | sort 选项 常用选项 -f忽略大小写，会将小写字母都转换为大写字母来进行比较-b忽略每行前面的空格-n按照数字进行排序-r反向排序-u等同于uniq，表示相同的数据仅显示一行-t指定字段分隔符，默认使用[Tab]键分隔-k指定排序字段-o<输出文件>将排序后的结果转存至指定文件
shell常用命令—sort和uniq
kaiser king的博客
02-17 466
shell常用命令—sort和uniq1. sort和uniq的用法2. 命令的使用 1. sort和uniq的用法 sort命令通常用来排序 uniq命令对重复字符做相应的处理 参数 说明 sort -n 纯数字排序 sort -r 倒序 sort -u 去掉重复数字 sort -o 输出到指定文件中 sort -t 指定分隔符 sort -k 指定要排序的列...
Linux命令_sort & 排序、去重
m0_61066945的博客
10-29 5461
Linux排序、去重；按数字大小排序、按文件大小排序
shell两个文件去重的多种姿势
01-20
大家都知道shell在文本处理上确有极大优势，比如多文本合并、去重等，但是最近遇到了一个难搞的问题，即两个大数据量文件去重。下面来看看详细的介绍吧。 要求  有txt文件A.txt和B.txt。 其中A为关键词和搜索量，以...
Linux shell命令统计某列去重后的值
09-15
本文主要介绍如何使用 Linux Shell 命令来实现对文本文件中某列数据进行去重并统计的过程。具体应用场景为：根据 MAC 地址获取其对应的硬件版本和软件版本，并基于硬件版本对 MAC 地址的数量进行统计。 #### 需求...
c++ hash_set 删除原数组重复数据，且不改变原数组顺序
shuididishui007的博客
08-28 3292
在中兴笔试中，有一题目要求，去除正整数序列数组中的重复元素，且不改变元素原来位置，例如 arr [] = {1,2,3,4,1,2,3,4} 输出为{1,2,3,4}.再例如arr[] = {1,2,2,2,3,3,4,4,5,5,1,1,1,4,4,4,5,5,6,6} 输出为{1,2,3,4，5,6}  在hash_set中，可以保证元素的唯一性，但是不能够保证元素的顺序，故此题不能采用h
shell 循环排序剔除重复数据
yuinliu的博客
01-05 399
1.通过循环得到可能出现的数值交叉情况，可能一个数值，可能两个数值，可能三个数值 var_mem_id_2=(100 200 300 400 500 600) for line_01 in ${var_mem_id_2[@]} do echo $line_01 >> file.txt for line_02 in ${var_mem_id_
linux排列去重复的命令,Linux Shell - 如何使用sort与uniq命令删除重复的文本行
weixin_35342955的博客
04-28 401
需要对日志文件中的数据进行排序，但是有太多重复的行。 如何从GNU/Linux下的文本文件中删除所有重复的行？您需要使用shell管道以及以下两个Linux命令行实用程序来排序和删除重复的文本行：1、sort命令 - 在Linux和类Unix系统中对文本文件行进行排序。2、uniq命令 - 在Linux或Unix上运行或省略重复的行使用Sort，Uniq和Shell管道删除重复行使用以下语法：so...
shell中的sort和uniq命令
最新发布
Blankit1的博客
12-18 561
的文本，当重复的行并不相邻时，uniq 命令是不起作用的。先对文本进行排序，然后执行。统计每行文本出现的次数。uniq的操作对象是。
linux uniq去重不生效
火云邪神的博客
09-27 2520
实现对nginx的访问ip进行统计，出现出重不成功； shell： cat access.log | awk ‘{print $1}’ | uniq -c 原因： 因为uniq去重只对相邻的数据进行迭代处理，当遇到相邻的数据不重复时，就会该处的数据加一，进行新的迭代处理。 算法过程如下 key = 1 uniq(file, key): if line[key] == line[key+1]： 删...
Shell 中去重并统计重复数 uniq -c 不生效问题
热门推荐
小白成神路
08-17 1万+
诶半夜了不想睡,突然看到自己网站 UV 和 ip数 统计, typecho 插件统计不清楚是否是去重统计 我自己也有shell 脚本统计nginx日志 cat www.libenfu.com.access.log |cut -d ' ' -f 1 |uniq -c|sort -n -r|head -n 100 这个脚本统计的 查询nginx 日志中访问最多的前100个ip, BUT...
shell脚本之——管道命令（sort/uniq/tr/cut/eval命令）
zcien的博客
01-03 2321
shell脚本管道命令详解
[Shell命令] sort -u删除重复行
memory专栏
03-19 1万+
在使用sort命令以默认的式对文件的行进行排序，使用的命令如下： sort testfile sort 命令将以默认的方式将文本文件的第一列以ASCII 码的次序排列，并将结果输出到标准输出。 $ cat test1 # test1文件原有排序 test test test hello world world hello hello $ sort test1 #排序结果 ...
linux uniq sort 排重、排序
点滴记忆成长瞬间
10-15 1万+
有如下文件a.txt [root@m95] /ftproot# cat a.txt ttt|000001 uuu|000002 uuu|000002 uuu|000002 uuu|000002 1 2 3 4 5 6 7 77 8 9 9 ===================================== #cat a.txt | uniq -c
uniq 和 sort -u的不同
weixin_30247159的博客
06-28 76
sort -u 去除重复并排序 uniq 去除连续的重复行 例： video.txt [root@hadoop01 test-shell]# cat video.txt Allen:HK:119:1982 Allens:KL:445:5851 Boys:HK:123:1988 Allens:KL:445:5851 Allens:KL:445:5851 Allens:KL...
shell脚本中如何去重
06-07
在shell脚本中去重可以使用以下命令： 1. 使用sort和uniq命令结合使用： ```shell sort file.txt | uniq ``` 其中file.txt为需要去重的文件名，该命令会先使用sort命令排序，然后使用uniq命令去重。 2. 使用awk命令： ```shell awk '!a[$0]++' file.txt ``` 其中file.txt为需要去重的文件名，该命令会使用awk命令去重并输出结果。 以上两种方法都可以用于去除文件中的重复行，你可以根据实际情况选择使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值