使用shell统计多行文本中非重复行数

最新推荐文章于 2023-05-11 16:27:21 发布
原创 最新推荐文章于 2023-05-11 16:27:21 发布 · 4k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#shell #sort #非重复文本

本文介绍如何使用sort和uniq命令对文本内容进行排序和去重操作，详细解释了命令的用法及应用场景，包括组合使用sort和uniq实现完全去重的方法，并通过示例展示了最终命令的形成过程。

参见http://blog.youkuaiyun.com/b_h_l/article/details/20694919

sort命令可以对文本的内容进行排序

uniq命令可以对文本内容连续的内容进行去重，非连续的重复内容无法去重

sort 文件 | uniq 可以达到去除所有重复数据的目的（因为先排序了，这样相同的内容一定在连续的一片，再uniq）



sort 文件 |uniq  等价于   sort -u 文件



所以最终的命令可以是：

sort -u 文本 | wc -l

Linux文本处理三剑客grep,sed,awk
weixin_73388622的博客
01-11 1401
linux文本处理三剑客grep,sed,awk
SQL 相关语法
标题
12-12 426
一、SQL约束 主键约束 Primary Key 外键约束 Foreign Key 检查约束 Check 约束 默认约束 Default 约束 唯一约束 Unique 约束 二、SQL通配符 通配符 解释 示例 ‘_’ 一个字符 A Like ‘C_’ % 任意长度的字符串 B Like ‘CO_%’ [] 括号中所指定范围内的一个字符,包括括号中的值 C Like ‘9WO[...
Shell去掉文件重复行
weixin_40173707的博客
08-25 590
shell去除重复行： 注：uniq只对相邻行做比较，一般结合sort先排序下（以使重复行相邻） sort -n aa.txt | uniq > bb.txt
linux下统计文本行数的各种方法（一）
weixin_30641999的博客
12-13 553
文件test1.txt有17行 方法一： awk '{print NR}' test1.txt | tail -n1 管道前打印所有行号，管道后则打印最后一行 或者： awk 'END{print NR}' test1.txt 方法二： grep -n '' test1.txt | awk -F : '{print $1}' | tail -n1 或者： grep -...
【shell】Linux删除文本重复行
michaelwoshi的博客
08-30 2599
1. 先排序，再去重复 sort -n filename.txt | uniq sort -n filename.txt | awk '{if($0!=line)print; line=$0}' sort -nfilename.txt | sed '$!N; /^\(.*\)\n\1$/!P; D' 2. 保留原来顺序，不排序去重 通常如果我们想获取一个文件里不重复的行的时候，我们可以直接通过sort-u命令，先把文件排序，然后去掉连续的重复行就行。 可...
linux下统计重复行出现的次数|花式排序|去重,awk|sort|uniq|cut
热门推荐
cy413026的博客
06-12 2万+
1.方法1 使用awk命令统计重复 awk '{a[$0]++}END{for(i in a){print i,a[i] | "sort -r -k 2"}}' testfile 结果如下： 其中a[$0]大概表示将一整行写入数组a，如果是a[$2]则表示将每一行的第二个元素‘memlib’写入数组a，默认以空格作为分割一行的元素。可以用 -F指定分割符如下： awk -F：'{a[$...
shell统计每列的重复个数
shandianling
12-17 1万+
需求:统计每个进程使用的句柄(文件)数 方法一: 使用awk (可不要求排序) sudo lsof  |  sed '1,2d' | awk '{++map[$1]}END{ for( i in map ){print i,map[i] } }' | sort -rnk 2  (实际为统计第一列的的重复个数) 解释:map可理解为key-value对象 sort的中的
gateway|zxyy-gateway-service|0.0.0|/fk/service/jar/zxyy-gateway-service-1.0.0-SNAPSHOT.jar|63000:63000||zxyy_docker-bridge oauth2|zxyy-oauth2-service|0.0.0|/fk/service/jar/zxyy-oauth2-service-1.0.0-SNAPSHOT.jar|63001:63001||zxyy_docker-bridge system|zxyy-system-service|0.0.0|/fk/service/jar/zxyy-system-service-1.0.0-SNAPSHOT.jar|63002:63002||zxyy_docker-bridge user|zxyy-user-service|0.0.0|/fk/service/jar/zxyy-user-service-1.0.0-SNAPSHOT.jar|63004:63004||zxyy_docker-bridge 怎么完善，使用shell自动换行读取，去除空白
最新发布
08-25
如何统计文本中非空白行的数量？ 3. 如何用awk或sed直接过滤空白行并输出？ 4. 在Shell脚本中处理大文本文件时，如何优化空白行过滤的性能？ 5. 如何递归处理目录下所有文件中的空白行？在 Shell 脚本中读取多行...
MATLAB常用命令与函数速查指南
- `doc`: 用于打开MATLAB的超文本帮助文档，提供更为详细的功能介绍和示例。 - `what`: 显示当前目录下所有M、MAT、MEX文件的列表。 - `type`: 显示指定M文件的源代码。 - `lookfor`: 根据关键字搜索帮助文档中...
shell最大出现和连续出现次数_Linux作业(三)-shell统计某文章中出现频率最高的N个单词并排序输出出现次数...
weixin_35795512的博客
01-17 237
Linux课上的作业周三交，若有考虑不周到的地方，还请多多指教。shell处理文本相关的常用命令见此博客##如果输入两个参数 则第一个为统计单词的个数，第二个为要统计的文章#如果输入一个参数 则默认统计单词的个数为10#具体思路：将各种符号用换行替换(tr命令)大写改小写(tr命令)排序、统计单词个数并除去重复 (sort和uniq)按出现次数的高低排序(sort)打印N个需要统计的单词#!/bi...
shell脚本常用基础命令(uniq tr test )1
Redhat_yan
02-17 1016
uniq用法 -c 合并重复并统计重复个数 -d 显示重复的行 -u 显示唯一的行 [root@docker3 mnt]# sort -n yan | uniq -c 1 2 1 3 1 4 1 7 1 13 2 81 1 123 [root@docker3 mnt]# sort -n yan | uniq -d 81 [root@docker3 mnt]# sort -n yan | uniq -u 1 2 3 4
shell--工具（sort、uniq 、tr、cut）
weixin_71438279的博客
08-11 373
sort是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。
linux下统计文本行数的各种方法之使用shell脚本统计
xu547823501的博客
01-05 4581
上一篇讲的都是统计单个文件的方法，直接在命令行执行就可以。现在试试脚本的方式，统计多个文件的行数 一、统计目录下所有文件的文件数及所有行数 脚本暂时命名为count.sh，代码如下： #!/bin/bash # 计算当前或者指定目录的文件数目及所有文件的行数 fileCount=0 linesCount=0 function funCount(){ for file in `l...
shell统计重复次数
chengxuyuanyonghu的专栏
04-27 1万+
(1) awk -F, '{a[$2]++}END{for (i in a) print i" "a[i]}'   文件名.txt (2) cat 文件名.txt |cut -d, -f2 |sort |uniq -c |sort -n
shell脚本——sort、uniq、tr、cut、split、paste、eval命令
Axic123的博客
05-11 638
【代码】shell脚本——sort、uniq、tr、cut、split、paste、eval命令。
【Shell牛客刷题系列】SHELL1 统计文件的行数：学习wc命令和文本三剑客awk、grep、sed命令
一起加油~
10-05 3745
本文首先学习用于统计文件的字节数、单词数、行数等信息的wc命令，然后学习被誉为Linux系统中的文本三剑客的三个命令：`awk`、`grep`和`sed`命令，这三个命令是非常热门的命令，后续很多题目都会用到这三个命令；最后给出五种方案解决统计文件行数的问题。
【Shell牛客刷题系列】SHELL10 第二列是否有重复：复习sort命令和uniq命令~
一起加油~
10-12 813
本文主要涉及的命令是sort命令和uniq命令，这两个命令是上一题已经讲过的，其余的命令，像awk命令和grep命令都是在以前讲过的基础上的应用。本文结合前面讲过的相关知识给出了两种题目的解决方案。
linux shell 相同行 计数,linux shell对行数进行统计的方法 （转载）
weixin_36212732的博客
05-13 1939
1.统计一个文件的行数可以用以下命令：grep -c "" xxx.txt或grep -n""xxx.txt | wc -l_____________________________________________________PS:使用grep -n“”xxx.txt 可以对xxx.txt 的内容显示行号，比如grep -n""/etc/passwd输出结果：1:root:x:0:...
Shell脚本统计文件行数的高效方法
6. 方法六：虽然不推荐，但可以读取文件内容后再用`wc -l`，这里使用`cat`读取文件，然后统计行数。 ```bash #!/bin/bash cat test1.sh | wc -l ``` 请注意，这个方法效率较低，因为先读取整个文件到内存。 ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值