sort | uniq -c | sort -rnk 1

最新推荐文章于 2022-07-30 12:24:34 发布

原创最新推荐文章于 2022-07-30 12:24:34 发布 · 592 阅读

0 ·

CC 4.0 BY-SA版权

杂七杂八专栏收录该内容

43 篇文章

订阅专栏

本文通过具体的日志文件操作示例，展示了如何使用sort、uniq和自定义排序命令进行数据整理与分析的过程。从原始日志数据的排序、去除重复记录到最终按出现频率排序输出，详细介绍了每一步的操作及效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sort | uniq -c | sort -rnk 1

[hadoop@master ~]$ cat 001.log

123

456

1111

456

123

[hadoop@master ~]$

[hadoop@master ~]$ cat 001.log | sort

1111

123

456

[hadoop@master ~]$ cat 001.log | sort | uniq -c

2 1

1 1111

1 12

3 123

1 14

1 2

1 24

5 3

1 35

1 4

2 45

2 456

5 5

1 66

1 89

1 9

[hadoop@master ~]$ cat 001.log | sort | uniq -c | sort -rnk 1

5 5

5 3

3 123

2 456

2 45

2 1

1 9

1 89

1 66

1 4

1 35

1 24

1 2

1 14

1 12

1 1111

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

terrorist2008

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

sort | uniq -c | sort -rnk 1 在数据统计中的重要用途------按频率排序

认知行动坚持

11-20

2万+

我们来看看a.txt文件： taoge@localhost Desktop> cat a.txt 123 456 1111 456 123 123 1 2 3 taoge@localhost Desktop> 先对其排序（按串排序）： taoge@localhost Desktop> cat a.txt | sort 1 1111 123 123 123 2 3 456 456

Nginx之基本状态信息模块 stub_status

weixin_45880055的博客

07-13

1817

ngx_http_stub_status_module模块 ngx_http_stub_status_module模块提供对基本状态信息的访问。默认情况下不构建此模块，应使用 --with-http_stub_status_module 配置参数启用用法： Syntax: stub_status; Default: — Context: server, location 配置示例 [root@nginx ~]# vim /etc/nginx/conf.d/stub_status.conf server

参与评论您还未登录，请先登录后发表或查看评论

linux sort uniq -c

朝着梦想渐行前进

08-25

1776

linux sort

linux——sort & uniq

weixin_44056331的博客

10-07

674

第一部分：sort sort：将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。常用参数：参数意义 -u 在输出行中去除重复行 -r sort默认排序是升序，加上-r即可降序输出 -o 将排序后内容输出到指定文件 -n 10与2的排序问题，即将内容按照数字排序 -t ...

sort 、 uniq 命令

qq_36457702的博客

12-25

308

Linux uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。 uniq 可检查文本文件中重复出现的行列。语法 uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件] 参数： -c或--count 在每列旁边显示该行重复出现的次...

力扣shell刷题

默主归沙的博客

07-30

566

你可以假设一个有效的电话号码必须满足以下两种格式(xxx)xxx-xxxx或xxx-xxx-xxxx。给定一个包含电话号码列表（一行一个电话号码）的文本文件file.txt，写一个单行bash脚本输出所有有效的电话号码。第一步将文件单词进行每行一个输出（使用xargs命令）（此处可以不用，也可以使用awk脚本NF处理）写一个bash脚本以统计一个文本文件words.txt中每个单词出现的频率。给定一个文件file.txt，转置它的内容。你也可以假设每行前后没有多余的空格字符。...

awk、sort等命令搞定几十行代码C++做的事------用好工具，事半功倍

认知行动坚持

11-20

8028

在后台开发中，经常遇到服务波动的情况，一般来说，在监控系统中可以看到这种波动，那是否与我们机器上的错误log对应起来了呢？我们有必要对机器上的错误log进行统计！规范log中一般会有时间，假设时间格式为： xxx[2016-11-20 hh:mm:ss]yyy, 那么怎样统计错误log是否集中在某以时间段呢？写个C++程序吧：结果：

usage.txt-2

huhuoyun的专栏

02-15

1740

局域网共享喇叭 ---------------- $>paprefs #PulseAudio Preferences. $>pavucontrol #Volume Control. 终端快捷键 ---------------- SHIFT+CTRL+v #终端复制. SHIFT+CTRL+c #终端粘贴. SHIFT+CTRL+t #新建标签页. SHIFT+.

uniqtoo:`sort |的版本uniq -c`，其输出在解析每一行时实时更新

03-25

uniqtoo 的一个版本sort | uniq -c sort | uniq -c与输出，在实时更新的各行被解析。用法基于线进入管的东西uniqtoo一样的，你会进入sort | uniq -c sort | uniq -c 。这是一个示例，该示例计算此存储库中文件的扩展名，其间的延迟为0.5s。您还可以提供输入作为文件或文件描述符作为参数。 $ uniqtoo input.txt 安装 Rust/货物 $ cargo install uniqtoo 二进制文件将放置在你的~/.cargo/bin这应该是你的shell的$PATH 。码头工人可以从Docker Hub和GitHub Container Registry中获得带有二进制文件的容器。 jakewharton/uniqtoo ghcr.io/jakewharton/uniqtoo 使用docker

`sort | 的一个版本uniq -c` 输出在解析每一行时实时更新

06-28

uniqtoosort | uniq -c版本sort | uniq -csort | uniq -c输出在解析每一行时实时更新。用法将一些基于行的东西输送到uniqtoo ，就像你在sort | uniq -csort | uniq -c 。这是一个计算此存储库中文件扩展名的示例，其间有 0.5 秒的延迟。您还可以将输入作为文件或文件描述符作为参数提供。$ uniqtoo input.txt安装锈/货物$ cargo install uniqtoo二进制文件将放在你的~/.cargo/bin ，它应该在你的 shell 的$PATH 。码头工人可以从 Docker Hub 和 GitHub Container Registry 获得带有二进制文件的容器。jakewharton/uniqtooghcr.io/jakewharton/uniqtoo使用docker run而不是直接使用二进制文件。input_command | docker run -i -a STDIN -a STDOUT jakewharton/uniqtoo执照Copyright 2021 Jake Wharton

sort命令以及uniq命令

a18829898663的博客

05-01

2865

sort命令以及uniq命令使用

shell脚本之排序工具（sort、uniq）

huhaiyangFIVE的博客

11-18

1002

目录一、sort 工具二、uniq 工具一、sort 工具 sort 是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序 sort 命令格式：sort [选项] 参数常用的选项：选项作用 -f 忽略大小写； -b 忽略每行前面的空格； -M 按照月份进行排序； -n 按照数字进行排序； -r 反向排序； -u 等同于 uniq，表示相同的数据仅显示一行； -t 指定分隔符，默认使用[Tab]键分隔； -o <输出文件>

Linxu命令 - uniq、sort、wc

VmBoys的博客

09-20

3283

sort 排序 -t #指定排序时所用的栏位分隔字符 -n #依照数值的大小排序 -r #以相反的顺序来排序 -f #排序时，将小写字母视为大写字母 -d

linux c sort 函数,关于算法：Linux上的“快速选择”(或类似方法)实现？ (而不是sort | uniq -c | sort -rn | head-$ N)...

weixin_33661931的博客

05-12

245

问题：我经常需要查看特定日志的最后一天中最频繁重复的"模式"。就像这里的一小部分tomcat日志一样：GET /app1/public/pkg_e/v3/555413242345562/account/stats 401 954 5GET /app1/public/pkg_e/v3/555412562561928/account/stats 200 954 97GET /app1/secure/p...

linux sort,uniq,cut,wc命令详解

weixin_33851177的博客

01-13

521

sort sort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。 sort语法 [root@www ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数： -f ：忽略大小写的差异，例如 A 与 a 视为编码相同； -b ：忽略...

shell常用命令（三） sort（排序）、uniq（处理重复字符）

weixin_45649763的博客

02-14

2222

文章目录sort命令和uniq命令的用法举例sort的默认用法-n 纯数字排序-rn 倒序数字排序-o 输出到指定文件中-u 去掉重复数字-urn 倒序去掉重复数字uniq -c 每行显示一次并统计重复次数（左次数，右数据）uniq -d 显示重复的行uniq -u 显示非重复的行-k 指定要排序的列 -t 指定分隔符举个栗子 sort命令和uniq命令的用法 sort通常用来排序 uniq对重复...

sort；uniq；tr命令

Moshizhu的博客

04-25

2875

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、sort命令二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、sort命令以行为单位，对文件内容进行排序，也可以根据不通的数据类型来排序比较原则是从首字符向后，依次按二、使用步骤 1.引入库代码如下（示.

sort排序和uniq统计命令

weixin_34329187的博客

08-13

190

author：headsen chen date： 2018-08-13 11:08:09 1，sort：排序的功能，默认安装ASCII码来排序，-n 安装数值排，-r 按照倒序来排 [root@bogon mnt]# cat aa.txt [root@bogon mnt]# cat aa.txt aaaa ccc dddd eeeeee 222222222 111...

sort |uniq -c | sort -nr | head -1

最新发布

06-07

### 使用 `sort` 和 `uniq -c` 组合统计与排序的功能 #### 一、功能概述通过将 `sort` 和 `uniq -c` 命令结合使用，可以实现对文件中重复行的统计。`uniq -c` 命令会在每行前添加该行出现的次数，而 `sort` 命令则可以进一步对这些统计结果进行排序[^2]。 #### 二、命令组合及其功能以下是 `sort` 和 `uniq -c` 命令组合后再次通过 `sort -nr` 排序并用 `head -1` 取最大值的用法和功能： 1. **去重并统计** `uniq -c` 命令会对连续相同的行进行计数，并在每行前输出计数值。为了确保所有相同行是连续的，通常需要先对文件内容进行排序。 ```bash sort a.txt | uniq -c ``` 2. **按出现次数降序排序** 使用 `sort -nr` 对 `uniq -c` 的输出结果按照出现次数（第一列）进行降序排序。 ```bash sort a.txt | uniq -c | sort -nr ``` 3. **取出现次数最大的行** 使用 `head -1` 提取排序后的第一行，即出现次数最多的行。 ```bash sort a.txt | uniq -c | sort -nr | head -1 ``` #### 三、示例分析假设文件 `a.txt` 内容如下： ``` apple banana apple orange banana apple ``` 执行以下命令： ```bash sort a.txt | uniq -c | sort -nr | head -1 ``` 1. **`sort a.txt`** 将文件内容按字母顺序排序： ``` apple apple apple banana banana orange ``` 2. **`uniq -c`** 统计每一行的出现次数： ``` 3 apple 2 banana 1 orange ``` 3. **`sort -nr`** 按照出现次数降序排序： ``` 3 apple 2 banana 1 orange ``` 4. **`head -1`** 提取出现次数最多的行： ``` 3 apple ``` 最终输出为 `3 apple`，表示 `apple` 是出现次数最多的行，共出现了 3 次。 #### 四、参数详解 1. **`sort` 命令** - `-n`：按数值排序。 - `-r`：按降序排列。 - `-k`：指定排序字段。 2. **`uniq -c` 命令** - `-c`：在每行前显示该行出现的次数。 3. **`head` 命令** - `-1`：仅显示第一行。 #### 五、代码示例以下是一个完整的代码示例，展示如何统计文件中出现次数最多的行： ```bash # 统计并输出出现次数最多的行 result=$(sort a.txt | uniq -c | sort -nr | head -1) echo "$result" ``` #### 六、扩展功能如果需要统计多个出现次数最多的行，可以调整 `head` 的参数。例如，提取出现次数最多的前 3 行： ```bash sort a.txt | uniq -c | sort -nr | head -3 ``` #### 七、注意事项 - 文件内容必须先通过 `sort` 命令排序，否则 `uniq -c` 无法正确统计非连续的重复行[^2]。 - 如果文件中存在大量重复行，建议使用管道符 (`|`) 将命令串联起来，以节省内存。