sort、uniq对汉字不生效

最新推荐文章于 2024-04-25 12:26:33 发布
原创 最新推荐文章于 2024-04-25 12:26:33 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#shell

本文介绍如何解决非UTF-8编码文件中使用sort和uniq命令时出现的问题，特别是对于包含中文字符的情况。通过调整文件编码来确保这些工具能够正确处理数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

sort file_name

当file_name文件里包含汉字时，并且文件编码不是utf8的时候，就可能会失效，你会发现相同的字符串，却不在相邻行

另外uniq命令也是，

uniq file_name

当file_name文件里包含汉字时，并且文件编码不是utf8的时候，就可能会失效，你会发现重复的行没有被去重掉


sort -u file_name

sort -u 问题会表现的更加严重，把不是相同的行，都给干掉了


解决方法

iconv -f cp936 -t utf-8 file_name | sort |uniq | iconv -f utf-8 -t cp936 >file_name.uniq

上面iconv命令转换了一次编码，cp936可能需要修改，你的文件是gbk的时候是cp936



drkuan
关注
Linux应急响应入侵排查思路
10-28 1459
0x00 前言 ​ 当企业发生黑客入侵、系统崩溃或其它影响业务正常运行的安全事件时，急需第一时间进行处理，使企业的网络信息系统在最短时间内恢复正常工作，进一步查找入侵来源，还原入侵事故过程，同时给出解决方案与防范措施，为企业挽回或减少经济损失。 针对常见的攻击事件，结合工作中应急响应事件分析和解决的方法，总结了一些Linux服务器入侵排查的思路。 0x01 入侵排查思路 一、账号安全 基...
JS数组排序sort自定义函数不生效
carfge的博客
03-14 1312
JS数组sort排序自定义函数比较结果应该返回数值，而不是Boolean值。
避坑系列：sort命令处理中文数据的问题
weixin_36600691的博客
06-14 1241
避坑系列：sort命令 sort作为linux下的常用命令，在处理含有中文字符的文件时，使用sort可能会无效。 例如，文件a.txt的内容如下： $ cat a.txt你好 你好 测试 真好玩 啊啊 你好 这是一个测试 让我们对文件ａ进行排序，看看会发生什么。 呀！排序后的结果好像并不对？ $sort a 你好 测试 啊啊 你好 真好玩 这是一个测试 别急，让我们再来搭配uniq试一下。 结果更离谱了，不仅没有实现去重，还出现了数据丢失的情况： $sort a | ...
uniq命令不起作用
看清这个世界
02-20 1220
原来uniq只能处理当相邻的两行的是一样的时候， 如果分隔开之后就不能起作用了 cat male_selfie.txt | sort | uniq | wc -l
linux uniq不起作用,linux之uniq用法
weixin_42511886的博客
05-13 615
Linux命令uniq的作用是过滤重复部分显示文件内容，这个命令读取输入文件，并比较相邻的行。在正常情况下，第二个及以后更多个重复行将被删去，行比较是根据所用字符集的排序序列进行的。该命令加工后的结果写到输出文件中。输入文件和输出文件必须不同。如果输入文件用“- ”表示，则从标准输入读取。uniq [选项] 文件说明：这个命令读取输入文件，并比较相邻的行。在正常情况下，第二个及以后更多个重复行将被...
linux uniq去重不生效
火云邪神的博客
09-27 2520
实现对nginx的访问ip进行统计，出现出重不成功； shell： cat access.log | awk ‘{print $1}’ | uniq -c 原因： 因为uniq去重只对相邻的数据进行迭代处理，当遇到相邻的数据不重复时，就会该处的数据加一，进行新的迭代处理。 算法过程如下 key = 1 uniq(file, key): if line[key] == line[key+1]： 删...
linux sort中文失效问题的解决
weixin_30701521的博客
01-11 354
http://note.youdao.com/noteshare?id=745488efb61a69fb56475e291863c94e 转载于:https://www.cnblogs.com/taiyang-li/p/8271058.html
Linux入侵排查
weixin_56233402的博客
04-20 1309
rpm2cpio /mnt/cdrom/Packages/coreutils-8.4-19.el6.i686.rpm | cpio -idv ./bin/ls 提取rpm包中ls命令到当前目录的/bin/ls下。例子:当我们需要开机启动自己的脚本时，只需要将可执行脚本丢在/etc/init.d目录下，然后在/etc/rc.d/rc*.d中建立软链接即可。启动项文件： more /etc/rc.local /etc/rc.d/rc[0~6].d ls -l /etc/rc.d/rc3.d/
运维工程师，总结40个面试题
张晨光老师的播客
04-25 1807
下面是一名运维人员求职数十家公司总结的Linux运维面试题，给大家参考下~1、什么是运维？什么是游戏运维？1）运维是指大型组织已经建立好的网络软硬件的维护，就是要保证业务的上线与运作的正常，在他运转的过程中，对他进行维护，他集合了网络、系统、数据库、开发、安全、监控于一身的技术运维又包括很多种，有DBA运维、网站运维、虚拟化运维、监控运维、游戏运维等等2）游戏运维又有分工，分为开发运维、应用运维（业务运维）和系统运维开发运维：是给应用运维开发运维工具和运维平台的。
面试知识点总结
03-11 4240
就是水各大面经，然后自己总结下啦，怕忘QAQ1.介绍一下信号量和互斥锁信号量 互斥锁 条件变量的区别信号量用在多线程多任务同步的，一个线程完成了某一个动作就通过信号量告诉别的线程，别的线程再进行某些动作（大家都在semtake的时候，就阻塞在哪里）。而互斥锁是用在多线程多任务互斥的，一个线程占用了某一个资源，那么别的线程就无法访问，直到这个线程unlock，其他的线程才开始可以利用这个资源。比如对全
Shell 中去重并统计重复数 uniq -c 不生效问题
热门推荐
小白成神路
08-17 1万+
诶半夜了不想睡,突然看到自己网站 UV 和 ip数 统计, typecho 插件统计不清楚是否是去重统计 我自己也有shell 脚本统计nginx日志 cat www.libenfu.com.access.log |cut -d ' ' -f 1 |uniq -c|sort -n -r|head -n 100 这个脚本统计的 查询nginx 日志中访问最多的前100个ip, BUT...
js中sort()方法排序失效
yiliaJin的博客
11-26 8406
前言 sort() 方法的官方定义是用于对数组的元素进行排序，但是为什么在作用于纯数字数组的时候排序的结果总是达不到预期效果呢？ 关键点 sort() 方法中有一个参数，非必填，但是在忽略此参数的情况下，使用sort()排序会默认先调用数组中每一项元素的toString()方法，然后根据首字母的 ASCLL 码值的大小进行排序。 1、对 字符型 数组进行排序 var arr1=['a','b',...
java中sort排序无效的原因
qq_39475396的博客
12-21 757
原因:排序的字段存在相同的值或者空值,有空值的话空值会排在最前面。解决办法:排序依据的字段加上其他不唯一的字段,例如id。order by id,排序的字段。
linux uniq对相同字符串无法去重的问题。
actnote的博客
07-15 758
主要就是uniq只对相邻的重复进行去重， 只要下一条是不同的序列就马上从头开始。 解决方案：在去重前先对每行字符串进行排序。 grep 'something' a.txt |sort |uniq 如果不这么做的话，比如下面内容的文件， a a b a a 去重出来结果会是 a b a ...
sort命令和对中文的处理
weixin_30877227的博客
02-11 426
使用示例：sort-k1,1nrxxxfile 需要指定起始列和结束列，否则可能排序错误 sort命令应用于中文时需要在sort前设置环境变量（以兼容C语言的标准）： LC_COLLATE=C 否则sort将忽略文本中的标点符号，将仅有标点符号差异的key看做相同。 使用tab做分隔符： sort-t$'\t' Shufflingthelinesofa...
java Collections.sort 失效
wzq1915414095的博客
01-02 1751
java Collections.sort 失效
linux sort 中文,Linux sort命令中文手册(info sort翻译)
weixin_28934081的博客
05-06 236
说明：(1).本手册只挑选了有用的信息进行翻译，如要查看完完整整的内容，请自行info sort。(2).译文中，在括号中使用了"注"的，为本人所加，非原文内容，助于理解和说明。(3).本文的sort命令为CentOS 7.2上的，版本为sort (GNU coreutils) 8.22，有些选项在CentOS 6上可能不支持，如"--debug"。(4).在没搞懂sort处理字段和排序机制时，强...
linux下uniq中文需要设置字符集
sunlylorn的专栏
05-13 2776
linux下uniq中文需要设置字符集  LANG=zh_CN.UTF-8 或LANG=C
sort uniq
最新发布
05-24
### 使用 `sort` 和 `uniq` 命令 #### 一、`sort` 命令详解 `sort` 是 Linux/Unix 中用于对文本文件的内容进行排序的强大工具。默认情况下，它会基于 ASCII 编码顺序对每一行数据进行排序[^1]。 以下是常用的参数及其功能： - `-b`: 忽略前导空白字符（如空格和制表符）。 - `-c`: 检查输入是否已排序；如果未排序，则返回错误消息并退出。 - `-d`: 只比较字母数字字符和空格字符，忽略其他字符。 - `-f`: 将所有的小写字母视为大写字母进行比较。 - `-n`: 按照数值大小而非字符串字典顺序进行排序。 - `-r`: 以相反的顺序排列输出结果。 - `-u`: 抑制重复行的显示，仅保留唯一的一份副本。 - `-k POS1[,POS2]`: 定义要排序的关键字段范围。 - `-t CHAR`: 设置字段分隔符为指定字符。 示例代码如下所示： ```bash # 对文件 data.txt 进行升序排序，并保存到 sorted_data.txt 文件中 sort -o sorted_data.txt data.txt # 数值降序排序 sort -nr file_with_numbers.txt ``` #### 二、`uniq` 命令概述 `uniq` 命令主要用于过滤相邻的重复行。需要注意的是，该命令只会移除连续相同的记录，因此通常需要先通过 `sort` 来预处理数据以便获得全局去重的效果[^2]。 主要选项有以下几个方面： - `-c | --count`: 统计每条不重复项的数量，在其左侧打印出现次数； - `-d | --repeated`: 仅仅展示那些存在多次实例的数据行； - `-i | --ignore-case`: 不区分大小写的匹配模式； - `-u | --unique`: 输出只发生过一次的独特项目列表。 实际操作例子： ```bash # 查找 log_file.log 中唯一的 IP 地址 cat log_file.log | cut -d ' ' -f 1 | sort | uniq # 显示访问日志里各 ip 的请求频次 awk '{print $1}' access_log | sort | uniq -c | sort -nr ``` #### 三、两者联合运用场景分析 当面对大量无规律的日志或者杂乱的信息集合时，单独依靠任何一个都不能达到理想效果。此时可以将这两个指令结合起来使用： 1. **去除完全相同的所有记录** 首先利用 `sort` 实现初步整理工作，接着再交给 `uniq` 处理掉多余的拷贝版本。 2. **统计频率最高的关键词组** 结合管道机制串联多个进程调用，最终得到我们关心的结果集。 综合应用案例演示： ```bash # 计算某个文档中最常使用的单词 tr -cs "A-Za-z0-9" "\n" < input_text | tr "[:upper:]" "[:lower:]" | grep -v "^$" | sort | uniq -c | sort -rn | head -n 10 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值