awk 的性能测试

部署运行你感兴趣的模型镜像

需求简单描述如下:

a文件内容:
a a a 12
a b b 10
a c c 8
a c f 5
b文件内容:
a a a 10
a b b 8
a c d 3
处理后的内容,即前面三列相同的,第四列进行累加,得到如下:
a a a 22
a b b 18
a c c 8
a c f 5
a c d 3

PS:每个文件都是1000W行以上,代码如下:

awk '{n=$NF;NF--;a[$0]+=n}END{for(i in a)print i,a[i]}'  

记录数:39036922, 文件大小:1.56G ,最高消耗内存:8.2G,执行时间:169秒

您可能感兴趣的与本文相关的镜像

Linly-Talker

Linly-Talker

AI应用

Linly-Talker是一款创新的数字人对话系统,它融合了最新的人工智能技术,包括大型语言模型(LLM)、自动语音识别(ASR)、文本到语音转换(TTS)和语音克隆技术

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值