shell脚本--awk数组计算某一列重复出现次数

最新推荐文章于 2024-05-06 19:12:56 发布

Andy_Hanna

最新推荐文章于 2024-05-06 19:12:56 发布

阅读量1.6k

点赞数 2

分类专栏： linux&&shell # Shell~三贱客awk+sed+grep

本文链接：https://blog.youkuaiyun.com/Andy_Hanna/article/details/103165494

版权

本文介绍如何利用awk数组来计算文件中某一列，例如网站域名的重复出现次数。通过示例展示了如何统计不同网站域名的出现频率，并进行排序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

awk数组计算某一列重复出现次数

测试文件

[root@172-0-10-222 myscripts]# cat testfile
andy 15871731153
hanna 18787876543
hello 15578765389
welcome 15578765389
andy 13987273647
hello 15871731153
andy 15871731153

统计每个手机号码出现的次数

[root@172-0-10-222 myscripts]# cat testfile | awk '{arr[$2]++}END{for(i in arr){print i,arr[i]}}'
18787876543 1
15871731153 3
13987273647 1
15578765389 2

按照出现次数从大到小排序

[root@172-0-10-222 myscripts]# cat testfile | awk '{arr[$2]++}END{for(i in arr){print i,arr[i]}}' | sort -r -k 2
15871731153 3
15578765389 2
18787876543 1
13987273647 1

注意：sort默认按照第一列的从小到大排序，-r表示从大到小排序，-k表示根据第几列排。

案例：统计文件中不同网站域名的出现次数

测试文件

[root@172-0-10-222 myscripts]# cat testfile
http://www.baidu.com
http:

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Andy_Hanna

关注关注

2
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

第五课 Shell脚本编程-awk用法

QnHyn

10-18

1426

awk用法

Shell脚本-三剑客实战

一只破碗

03-07

825

awk 第一条命令探路原 /etc/passwd 数据： awk -F’:’ ‘{print $1,$2,$6}’ /etc/passwd 意思很明显：将/etc/passwd文件中的数据，先以":"分割，然后取第1、第2、第6列，打印出来。 -F’:’ 指定冒号为分割符 ==’{print $1,$2,$6}’==脚本代码块执行脚本中的 BEGIN \ END模块一般地，对每个输...

参与评论您还未登录，请先登录后发表或查看评论

awk统计文件中某关键词出现次数的命令

09-15

awk统计文件中某关键词出现的次数，供朋友们学习参考

shell统计重复次数

weixin_34067049的博客

11-15

754

(1) awk -F, '{a[$2]++}END{for (i in a) print i" "a[i]}' 文件名.txt (2) cat 文件名.txt |cut -d, -f2 |sort |uniq -c |sort -n 本文转自 chengxuyonghu 51CTO博客，原文链接：http://blog.5...

awk统计某列重复出现的次数

yy的博客

05-27

8828

awk -F '[,:]' '{a[$4]++} END{for(i in a)print i "-->" a[i]}' 20190526.csv | sort -t '-' -n -k 1 # 原始数据格式: ''' 2191779,044c0492,2019-05-24,02:00:09,090500,8512204099206908,0x3 2128171,00c80...

shell统计每列的重复个数

shandianling

12-17

1万+

需求:统计每个进程使用的句柄(文件)数方法一: 使用awk (可不要求排序) sudo lsof | sed '1,2d' | awk '{++map[$1]}END{ for( i in map ){print i,map[i] } }' | sort -rnk 2 (实际为统计第一列的的重复个数) 解释:map可理解为key-value对象 sort的中的

Linux awk+uniq+sort 统计文件中某字符串出现次数并排序

刘宇(LY)个人笔记

09-23

9543

在服务器开发中，我们经常会写入大量的日志文件。有时候我们需要对这些日志文件进行统计。Linux中我们可以利用以下命令简单高效的实现这一功能。需要用到的命令简介 cat命令 cat命令主要有三大功能 1.一次显示整个文件 catfilename2.创建一个文件 cat filename 2.创建一个文件 cat > fileName 3.将几个文件合并为一个文件 $ cat f

5.Linux-RHCE-shell-AWK- 数组与函数使用方式

在本节中，我们将回顾Linux操作系统的基本概念，包括内核、Shell、用户空间等，并对其进行详细解释。 ```bash # 示例代码 # 查看Linux内核版本 uname -r ``` 代码总结：使用`uname -r`命令可查看Linux内核版本。 ...

【Shell】awk命令--输出某列，列求和，列求平均值，列最大值，列去重复，取倒列，过滤行，匹配，不匹配，内置变量|定义分隔符|多个分隔符...

小鱼菜鸟的博客

07-22

2416

目录 awk基本语法 awk输出某几列 awk遍历文件行处理 awk中运行shell命令方法1：awk 内置函数system 方法2 通过awk print 交给bash awk中运行shell命令并用awk的参数 awk命令获取文本的某一行，某一列 AWK 技巧(取倒列，过滤行，匹配，不匹配，内置变量等) 通过第一个域找出...

awk 统计某列里面每个值出现的次数

热门推荐

cy413026的博客

06-12

2万+

1.方法1 使用awk命令统计重复 awk '{a[$0]++}END{for(i in a){print i,a[i] | "sort -r -k 2"}}' testfile 结果如下：其中a[$0]大概表示将一整行写入数组a，如果是a[$2]则表示将每一行的第二个元素‘memlib’写入数组a，默认以空格作为分割一行的元素。可以用 -F指定分割符如下： awk -F：'{a[$...

awk统计主机的连接状态出现的次数

一直在努力学习的菜鸟

01-01

431

[root@centos7 ~]#ss -tan | awk 'NR!=1{state[$1]++}END{for(i in state){print i,state[i]}}' LISTEN 5 ESTAB 2

awk如何把一个文件按第三列去重并统计重复个数最后按倒叙排列

weixin_35755640的博客

02-15

891

可以使用awk命令来实现按第三列去重并统计重复个数，最后按倒序排列的操作。具体的命令如下所示： awk '{a[$3]++} END {for (i in a) print i,a[i] | "sort -rnk2"}' 文件名解释一下上述命令： awk：命令名。 '{a[$3]++}：以第三列作为关键字，将每一行的第三列的值作为数组a的下标，数组a的值加1，即对每一个不同的值计数。 EN...

shell基础---awk+uniq+sort 统计文件中某字符串出现次数并排序

会哭的雨@的博客

09-20

4966

在服务器开发中，我们经常会写入大量的日志文件。有时候我们需要对这些日志文件进行统计。Linux中我们可以利用以下命令简单高效的实现这一功能。需要用到的命令简介 cat命令 cat命令主要有三大功能 1.一次显示整个文件 cat filename 2.创建一个文件 cat > fileName 3.将几个文件合并为一个文件 cat file1 file2 > file 参数： -n 或 –number 由 1 开始对所有输出的行数编号 -b 或 –num...

Linux awk统计日志中出现过的IP(或出现次数最多的N个IP)

lxw1844912514的博客

09-08

7805

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk的用法 awk 'BEGIN{ commands } pattern{ commands } END{ commands }' 第一步：运行BEGIN{ commands }语句块中的语句。第二步：从文件或标准输入(stdin)读取一行。然后运行pattern{ commands

awk统计重复列

qq_17088237的博客

04-29

2375

awk是什么？ AWK是一个优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。这种编程及数据操作语言（其名称得自于它的创始人阿尔佛雷德·艾侯、彼得·温伯格和布莱恩·柯林汉姓氏的首个字母）的最大功能取决于一个人所拥有的知识。awk经过改进生成的新的版本nawk,gawk，现在默认linux系统下日常使用的是gawk，用命令可以查看正在应用的awk的来源（ls -l ...