关于sort和uniq 这两个命令的用法和比较

最新推荐文章于 2024-12-26 06:00:00 发布

原创最新推荐文章于 2024-12-26 06:00:00 发布 · 960 阅读

0 ·

CC 4.0 BY-SA版权

云计算同时被 2 个专栏收录

86 篇文章

订阅专栏

shell

21 篇文章

订阅专栏

本文详细介绍了Linux下的sort和uniq命令的功能、参数及实际应用场景。sort命令用于文本文件内容的排序，常用于日志过滤；uniq命令则用于去除文本文件中的重复行，尤其在过滤IP地址和账号信息时极为实用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

sort
uniq
- - 2.实际生产环境下用uniq 过滤账号信息

sort

1. 这两个命令的共同点

都是对文本文件进行排序的，经常在过滤日志的时候会使用到
sort和uniq 都是以行为单位的
sort默认是文本文字进行排序，sort是按照最近更新的数据进行排序的

2.sort

功能说明：将文本文件内容加以排序,sort可针对文本文件的内容，以行为单位来排序

具体的参数选项可以参考以下博文

https://www.cnblogs.com/fulucky/p/8022718.html

关于sort的实施案例：
https://www.cnblogs.com/qmfsun/p/3841646.html
https://www.cnblogs.com/ningvsban/p/3724306.html

3.下面展示一下 sort 的现网实施案例

sort -m -t "|" -k 4 -o $HOME/log/omp/omp.log  ~/mo_domain/servers/moServer-41-180?0/modps/log/omp/ompbiz.log


cat /etc/passwd | sort -t ':' -k 3 
cat /etc/passwd | sort -t ':' -k 3 -n
查看一下这两条命令的区别发现
没有-n 是按照第三字符进行排序  -n 是忽略字符，按照字段进行排序

uniq

uniq 最经常用的是去重的用法，去除重复的行
在实际生产中，用于过滤IP地址，请求时间的ID就会经常用到uniq这个命令

常见的参数和选项
https://www.cnblogs.com/ftl1012/p/uniq.html

uniq的实例演示
https://blog.youkuaiyun.com/m0_37814112/article/details/80492094

2.实际生产环境下用uniq 过滤账号信息

less mmwiard.log.201901172*  |grep "result:Fail" |grep "BossFujianFlowSearchServlet" |awk -F"|" '{print $2}'| awk -F":" '{print $3}'|awk -F"," '{print $1}' |uniq -c | sort -rn