linux uniq对相同字符串无法去重的问题。

最新推荐文章于 2024-01-18 07:00:00 发布

原创最新推荐文章于 2024-01-18 07:00:00 发布 · 778 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#linux #shell

日常笔记专栏收录该内容

18 篇文章

订阅专栏

本文介绍了如何通过在使用uniq去重前对文件内容（如字符串）进行排序，避免相邻重复项的混淆。通过实例说明了对数字的排序操作，并强调了对非数字数据进行类似处理的重要性。解决了一个实际问题，即不排序可能导致的去重错误。

部署运行你感兴趣的模型镜像

主要就是uniq只对相邻的重复进行去重，
只要下一条是不同的序列就马上从头开始。
解决方案：在去重前先对每行字符串进行排序。
数字的话可以sort -n按数字大小排序，得出来的结果更好看。

grep 'something' a.txt |sort |uniq

如果不这么做的话，比如下面内容的文件，

a
a
b
a
a

去重出来结果会是

a
b
a

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

图片生成

Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

聪明的笨ZY

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【linux 又一波命令来袭 0基础sort排序 uniq去重逆袭由简入深，层层递进】

qq_68631072的博客

05-27

809

linux命令再度来袭，sort uniq 详解

uniq命令去除文件中的重复行

01-09

uniq命令全称是“unique”，中文释义是“独特的，唯一的”。该命令的作用是用来去除文本文件中连续的重复行，中间不能夹杂其他文本行。去除了重复的，保留的都是唯一的，也就是独特的，唯一的了。我们应当注意的是，它和sort的区别，sort只要有重复行，它就去除，而uniq重复行必须要连续，也可以用它忽略文件中的重复行。语法格式：uniq [参数] [文件] 常用参数： -c 打印每行在文本中重复出现的次数 -d 只显示有重复的纪录，每个重复纪录只出现一次 -u 只显示没有重复的纪录参考实例删除连续文件中连续的重复行： [root@linuxcool ~]# cat

参与评论您还未登录，请先登录后发表或查看评论

linux uniq去重不生效

火云邪神的博客

09-27

2556

实现对nginx的访问ip进行统计，出现出重不成功； shell： cat access.log | awk ‘{print $1}’ | uniq -c 原因：因为uniq去重只对相邻的数据进行迭代处理，当遇到相邻的数据不重复时，就会该处的数据加一，进行新的迭代处理。算法过程如下 key = 1 uniq(file, key): if line[key] == line[key+1]：删...

Shell 中去重并统计重复数 uniq -c 不生效问题

小白成神路

08-17

1万+

诶半夜了不想睡,突然看到自己网站 UV 和 ip数统计, typecho 插件统计不清楚是否是去重统计我自己也有shell 脚本统计nginx日志 cat www.libenfu.com.access.log |cut -d ' ' -f 1 |uniq -c|sort -n -r|head -n 100 这个脚本统计的查询nginx 日志中访问最多的前100个ip, BUT...

linux uniq不起作用,linux之uniq用法

weixin_42511886的博客

05-13

628

Linux命令uniq的作用是过滤重复部分显示文件内容，这个命令读取输入文件，并比较相邻的行。在正常情况下，第二个及以后更多个重复行将被删去，行比较是根据所用字符集的排序序列进行的。该命令加工后的结果写到输出文件中。输入文件和输出文件必须不同。如果输入文件用“- ”表示，则从标准输入读取。uniq [选项] 文件说明：这个命令读取输入文件，并比较相邻的行。在正常情况下，第二个及以后更多个重复行将被...

linux上文件内容去重的问题uniq/awk

weixin_34041003的博客

09-28

255

1、uniq：只会对相邻的行进行判断是否重复，不能全文本进行搜索是否重复，所以往往跟sort结合使用。例子1： [root@aaa01 ~]# cat a.txt 12 34 56 12 [root@aaa01 ~]# cat a.txt|uniq >>au.txt [root@aaa01 ~]# cat au.txt 12 34 56 12 例子2： [...

linux 如何获取两个字符串去重后的值

06-06

可以使用Linux中的sort和uniq命令实现字符串去重。具体操作如下： 1. 将两个字符串合并为一个字符串，用echo命令输出： ``` echo "string1string2" ``` 2. 将字符串中的每个字符都单独占一行，用sed命令替换字符...

linux对字符串每个字符去重并排序，重复次数多的排到前面

07-13

你可以使用Linux命令行工具来实现对字符串的每个字符去重并排序，重复次数多的排到前面。下面是一个示例命令： ```bash echo "your_string" | fold -w1 | sort | uniq -c | sort -nr ``` 请将 "your_string" 替换...

linux怎么将有相同字符串的屏幕输出筛选出来

最新发布

03-14

嗯，用户想知道在Linux中如何筛选出包含相同字符串的屏幕输出。这个问题看起来是关于文本处理的，我需要回忆一下常用的命令。首先，Linux下处理文本的常用命令有grep、awk、sed、sort、uniq这些。用户提到的是筛选...

Linux中用sed将此字符串：welcome to magedu linux 中的每个字符去重并排序，重复次数多的排到前面

06-01

其中，sed命令将字符串中的每个字符都单独放在一行上，sort命令将这些字符排序，uniq命令去重并统计每个字符出现的次数，sort命令按照出现次数从多到少排序，awk命令提取出每个字符，tr命令将提取出的字符拼接成一个...

linux 不排序去重复,linux uniq命令（去除排序之后的重复）

weixin_39621456的博客

05-14

585

uniq命令可以去除排序过的文件中的重复行，因此uniq经常和sort合用。也就是说，为了使uniq起作用，所有的重复行必须是相邻的。语法：uniq [-cdu][-f][-s][-w][--help][--version][输入文件][输出文件]补充说明：uniq可检查文本文件中重复出现的行列。参数：-c或--count 在每列旁边显示该行重复出现的次数。-d或--repeated 仅显...

linux之去重uniq命令详解

sll917

10-09

402

test.txt文件中每一行之前有行号，无法使用sort和uniq进行去重，可以使用-f参数忽略每一行的第一个字段，这样就可以忽略每一行之前的行号，对每一行之后的内容进行去重处理。对于这种情况也可以使用awk命令工具进行处理去除第一列的行号，然后通过管道符丢给sort和uniq命令处理，后续会继续更新awk等重要的文本处理工具。可以看出单独使用uniq命令时只对相邻重复行进行去重，无法进行有效去重。可以看到末尾的三行不重复的行没有显示，将重复的行进行去重后显示。uniq是对文本文件进行行去去重的工具。

linux里面字符串排序,Linux笔记（shell特殊符号，sort排序，wc统计，uniq去重，tee，tr，split）...

weixin_32903229的博客

05-02

454

一、shell特殊符号* 任意个任意字符？任意一个字符# 注释字符\ 脱义字符例如：[root@localhost ~]# a=2[root@localhost ~]# b=3[root@localhost ~]# c=$a$b[root@localhost ~]# echo $c23[root@localhost ~]# c=\$a\$b[root@localhost ~]# echo...

sort、uniq对汉字不生效

arkzheng的专栏

10-24

1129

sort file_name 当file_name文件里包含汉字时，并且文件编码不是utf8的时候，就可能会失效，你会发现相同的字符串，却不在相邻行另外uniq命令也是， uniq file_name 当file_name文件里包含汉字时，并且文件编码不是utf8的时候，就可能会失效，你会发现重复的行没有被去重掉 sort -u file_name sort -u 问题会

Linux uniq命令教程：去重和计数的小能手(附实例详解和注意事项)

u012964600的博客

01-18

5877

uniq命令，即unique，主要用于在文本文件中找出或者删除重复出现的行，一般和sort命令结合使用。uniq命令不仅可以将文件中的重复行进行删除，还可以对重复的行进行计数，或者只显示重复的行等。

Linux由默认语言导致的uniq命令重复计数错误

Blue summer的博客

12-29

681

背景今天遇到一件比较奇怪的事，同一个文件在统计重复行时出现了不同的结果，手动执行时去重后有2.5w+，放到crontab中执行，去重后居然有2.9w+。分析查看文件内容，发现文件中有一些特殊字符，猜想和系统设置的语言相关，于是测试了一下， [root@localhost ~]# export LC_ALL="" [root@localhost ~]# cat /tmp/myfile | so...

linux 命令：uniq 详解

yspg_217的博客

02-14

5877

linux 命令：uniq 详解

shell中uniq与sort -u 两种去重的对别