awk分组求和分组统计次数-优快云博客

本文介绍了awk在数据处理中的应用，包括分组求和、匹配操作、取最大值和最小值、统计计算以及集合类操作。内容涵盖按列分组累加、文件间数据匹配、求和、平均值、标准偏差，以及行与列的整合方法，还有集合的交、差、全集等操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

分组求和

 
          1 
        
         awk 
           
         '{s[$1] += $2}END{ for(i in s){  print i, s[i] } }' 
           
         file1 
           
         > 
           
         file2

以第一列为变量名第一列为变量，将相同第一列的第二列数据进行累加打印出和.

awk

 
          1 
        
         awk 
           
         '{s[$1" "$2] += $3}END{ for(i in s){  print i, s[i] } }' 
            
         file1 
           
         > 
           
         file2

以第一列和第二列为变量名，将相同第一列、第二列的第三列数据进行累加打印出和

awk

 
          1 
        
         awk 
           
         '{s[$1] += $2; a[$1] += $3 }END{ for(i in s){  print i,s[i],a[i] } }'  
           
         haha 
         . 
         txt

如果第一列相同，则根据第一列来分组，分别打印第二列和第三列的和

awk

匹配

1、匹配交集项

 
          1 
        
         awk 
           
         'NR==FNR{a[$1]=1}NR>FNR&&a[$1]>0{print $0}'  
           
         file1（字段： 
         QQ）  
         file2（字段： 
         QQ 点券值 
          ）  
         > 
           
         file3

如果file1、file2中，2个文件的第一列值相同，输出第2个文件的所有列

注意：数据量如果达到4Gb以上或者行数达到一亿级别，建议将file2进行split分割，否则就算是32G的内存的机器都会被吃掉；

awk

 
          1 
        
         awk 
           
         'NR==FNR{a[$1" "$2]=1}NR>FNR&&a[$1" "$2]>0{print $0}'  
           
         file1  
         file2