linux shell 分组统计,Shell学习笔记：awk实现group by分组统计功能

最新推荐文章于 2025-04-25 15:56:40 发布
最新推荐文章于 2025-04-25 15:56:40 发布
阅读量3.7k 收藏 10
点赞数 1
文章标签： linux shell 分组统计
这篇博客介绍了如何利用Linux Shell的awk命令进行数据处理，包括按分隔符切割、排序、去重、计数等操作，并展示了如何进行分组统计、求和、求平均值、最大最小值及字符整理等复杂功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

日常部分数据以 txt 的文件格式提供，为避免入库之后再进行统计的麻烦，故学习 shell 进行处理，减少工作量。

1.样例数据

# test.txt

YD5Gxxx|6618151|6825449073|6476534190|36251|超级会员|0

YD5Gxxx|8968336|1445546463|6476534190|36251|超级会员|0

YD5Gxxx|2545939|6904742993|0858636804|36251|超级会员|80%以上

YD5Gxxx|3200810|6896525523|6501574903|36251|普通|0

YD5Gxxx|3378244|6926264463|6519442719|36251|超级会员|80%以上

YD5Gxxx|8075700|6854827783|0858523344|36251|普通|80%以上

YD5Gxxx|3368804|6934387193|0000487348|36251|超级会员|(0，50%]

YD5Gxxx|2865288|6865082233|0859114957|36251|普通|(0，50%]

YD5Gxxx|6655543|6930124273|6521876215|36251|超级会员|(0，50%]

YD5Gxxx|2952781|6820973583|0858704189|36251|超级会员|0

2.一些普通操作

通过 awk -F 可以实现按分隔符进行切割操作，再通过 {print $6} 可以输出字段。

sort 进行排序，uniq 进行去重操作，wc -l 进行计数操作。

cat test.txt | awk -F '|' '{print $6}'

最低0.47元/天 解锁文章
Visnw
关注
shell_实现分组统计数据
1
03-11 4502
#!/bin/ksh ########################################################################################## #程序名称： #作者姓名： #开发时间： #参数列表：date   处理数据的时间， #功能说明：实时处理数据 #          ######################
linux的shell命令做数据统计分析
YouAreLion的博客
04-30 291
【代码】linux的shell命令做数据统计分析。
linux通过awk命令实现分组统计（计数、求和）实现group by功能
热门推荐
Knightley_K的博客
10-09 1万+
awk实现分组统计一、根据某列进行分组计数二、根据某列对另一列进行分组求和三、根据限定条件进行分组计数或求和 举例： 以下为待分析内容： 北京|少年|23 河北|少年|15 北京|青年|35 上海|少年|6 北京|中年|19 上海|青年|28 三列分别为地区、年龄段、去过城市个数 一、根据某列进行分组计数 根据地区统计人数 cat test.txt|awk -F '|' '{x[$1]++;} END{for(i in x) print(i ":" x[i])}' 结果如下： 上海:2 河北:1 北京
Shell - 一行脚本统计分组 PV、UV
BITDDD小栈
09-19 810
shell 一行实现 UV、PV 统计。
linux shell 分组统计,Linux shell如何用正则表达式匹配分组数据
weixin_36111194的博客
05-13 706
方法两种方法：grep和sedecho "libgcc-4.8.5-4.h5.x86_64.rpm" | grep -Eo "[0-9]+\.[0-9]+.*x86_64"echo "libgcc-4.8.5-4.h5.x86_64.rpm" | sed -r "s/libgcc-([0-9]+\.[0-9]+.*)\.rpm/\1/g"实验但是grep试了半天，没找到能输出分组的办法，所以只能选...
linux awk 分组统计
风儿-zsj的专栏
08-01 1万+
1、awk分组统计 cat order.txt | awk 'NR>=2{a[$3]+=$4}END{for(j in a) print j, a[j]}' | sort -rk 2 | head -3 2、处理数据 awk -f  cal.awk sorce.txt     -f 从脚本中读取awk命令
Linux_shell编程学习笔记
02-23
Linux Shell编程是Linux系统管理与自动化任务中的重要一环，主要通过编写脚本来实现对操作系统进行交互和控制。本文将详细解析Linux Shell编程中的几个关键概念：正则表达式、find命令、grep命令以及sed命令。 1. *...
《LINUX与UNIX SHELL编程指南》读书笔记二次发布
"《LINUX与UNIX+SHELL编程指南》读书笔记-二次发布版.pdf" 在深入探讨Linux与Unix Shell编程的知识之前，首先要明白Shell是什么。Shell是操作系统提供的一种命令行界面，允许用户通过文本命令与系统交互。它是用户...
Linux学习笔记
最新发布
wyn20001128的博客
04-25 274
①Vim 一般模式（Normal Mode）的核心命令:在 Vim 编辑器中，一般模式（Normal Mode）是默认的初始模式，也是 Vim 的核心操作模式。管道（|）是 Linux/Unix 系统中 最强大的功能之一，它允许将一个命令的输出作为另一个命令的输入，实现数据流的串联处理。当物理内存（RAM）不足时，Linux 会将部分不活跃的内存数据临时存储到交换文件中，从而防止系统因内存耗尽而崩溃或杀死进程。②桥接模式：虚拟机的网卡直接“桥接”到宿主机的物理网卡上，③NAT模式：虚拟机通过宿主机的。
Linux命令行与shell脚本编程大全第三版 学习笔记
everest_33的博客
03-18 969
Linux自己的文件资料： /usr/share/doc (在你的Linux系统中)　　https://www.osyunwei.com/archives/290.html 0.注意Linux中一切皆文件，本文中的文件指的是广义的文件，包括文件、目录、硬件设备 等等。 1. 初识Linux shell 1.1, Linux分为四个部分：Linux内核，GNU工具集，图形化桌面环境，应用软件 1.1.1, Linux内核主要负责四种功能：系统内存管理，软件程序管理，硬件设备管理，文件系统管理 ...
linux 查看并统计进程、线程数量: awk 分组统计
eyeofeagle的博客
11-08 952
【代码】linux 查看并统计进程、线程数量: awk 分组统计。
【shell】awk 分组
u010900754的专栏
05-09 1065
直接用数组即可。 a.txt文件： Tom baidu 8000 Jerry alibaba 9000 Jack tencent 8500 Nika baidu 7500 1.分组求和，排序 awk '{count[$2] += $3}END{for(i in count) print i, count[i]}' a.txt | sort -nrk 2 baidu 15500 a...
Linux 文件类信息统计指令(awk、sort、wc -l)
qq_35789269的博客
11-22 1769
cat file |grep -o word |wc -l 统计file文件中word这个关键字出现的个数 cat file |grep word |wc -l 统计file文件中word这个关键字出现的行数。
[Shell] awk 统计分组数据
cizhiyou2391的博客
05-02 170
论坛上看到的统计数据的例子,自己测试一下. http://bbs.chinaunix.net/thread-4244399-1-1.html 0.20.30.5 1 0.30.1 0.2 3 ...
awk分组统计
grllery的博客
08-15 1578
分组统计 字符串长度函数length 条件判断if
awk 分组统计
落叶翩翩的优快云博客
03-07 4222
 grep 2018-03-07T16 access.log |awk '{arrs[$5]+=1} END {for(k in arrs) {print k,arrs[k]}}'|sort -nr -k 2|head -10grep -E "Preparing" ~/xxxx.log |awk -F ":" '{m[$6]+=1} END {for(k in m){print m[k] , k}...
shell系列1：统计 /proc 目类下 Linux 进程相关数量信息
青梅煮酒
03-30 519
不管在面试中还是平时排查进程相关问题中总会使用到ps这个命令，会显示很多进程相关信息，其中STAT栏的在问题排查中是比较重要的，面试中也经常遇到【反正我每次都会被问到，强行解释，哈哈】，因此花点时间搞明白
linux 日志 分组统计,Shell 中常见的日志统计方法
weixin_35615010的博客
05-09 2120
前面我发布过"Hadoop兮，杀鸡别用牛刀，python+shell实现一般日志文件的查询、统计", 需要结合python, 可能还是有一定的门槛, 现将shell部分剥离出来. 举例一些最基本的日志统计方法.(1)查看文件morecrawler.log查看crawler.log日志tail-n100crawler.log查看crawler.log的最后100行(2)匹配统计cat*.l...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值