awk 实战

最新推荐文章于 2025-11-09 17:57:03 发布
原创 最新推荐文章于 2025-11-09 17:57:03 发布 · 932 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#awk shell #awk



1. 生成数据报表
   有一个数据文件datafile是某位业务员的客户们3个月来的交易统计。datafile中的数据以冒号为分隔符，分了5个字段，分别为用户的name，电话phone，1月的消费金额，2月的消费金额，3月的消费金额，
  要求：（1）生成人可读的数据报表，格式清晰
        （2）生成每位客户（每行记录）的3个月的消费总数，以及每个月的总营业额；
    awk脚本：
report.awk
  1. #!/usr/bin/awk -f
  2. # 生成数据报表
  3. BEGIN {
  4.     FS = ":";
  5.     OFS = "\t"
  6.     print "\t\t Report tables"
  7.     print "name\tphone\t\tJan\tFeb\tMar\t\tTotal"
  8.     print "——————————————————————————————————————————————————————"
  9. }
  10. # 求客户3个月的业绩和
  11. {$6 = $3 + $4 + $5}
  12. #{printf "%-8s%-15s%-9s%-8s%-15s%-12s\n", $1,$2,$3,$4,$5,$6}
  13. {print $1"\t"$2"\t"$3"\t"$4"\t"$5"\t\t"$6}
  14. {total3 +=$3}
  15. {total4 +=$4}
  16. {total5 +=$5}
  17. END {
  18.     print "_______________________________________________________"
  19.     print "This is Jan total: " total3
  20.     print "This is Feb total: " total4
  21.     print "This is Mar total: " total5
  22. }
  1. [root@web1 test]# awk -f report.awk datafile
  2.                  Report tables
  3. name    phone           Jan     Feb     Mar             Total
  4. ——————————————————————————————————————————————————————
  5. M H     (424)2222233    299     242     332322          332863
  6. N H     (423)2234242    345     3242    232             3819
  7. N J     (334)1992332    234     34242   324             34800
  8. _______________________________________________________
  9. This is Jan total: 878
  10. This is Feb total: 37726
  11. This is Mar total: 332878

2. awk 多文件联合处理
 
  2.1 用一个文件的域替换另一个文件的域

 系统用户文件passwd的第二段是用户密码，但是用X代替。真正的密码保存在shadow文件中的第二段。现在用shdow中的密文部分替换passwd中的x，生成一个新的passwd.pub
  1. vim join.awk
  2. # 替换文件的域
  3. BEGIN {
  4.     # 指定输出分隔符
  5.     OFS = ":"
  6.     # 输入字段分隔符
  7.     FS = ":"
  8. }
  9. # 执行体
  10. {
  11.   if (NR <= FNR){        # 正在处理第一个输入文件shadow
  12.     a[$1] = $2
  13.   }
  14.   if (NR > FNR){         # 正在处理第二个输入文件passwd
  15.     $2 = a[$1]
  16.     print
  17.   }
  18. }
  1. awk -f join.awk /etc/shadow /etc/passwd > passwd.pub
 小结： NR 是awk正在工作中的记录数，FNR是awk的当前输入文件的记录数，一开始工作时，NR<FNR,随着输入记录的增多NR会超过FNR.
      
  awk内建变量的用法：
 eg.
 直接做判断
  1. # 执行体
  2. NR <= FNR {        # 正在处理第一个输入文件shadow
  3.     a[$1] = $2
  4. }
  5. NR > FNR {         # 正在处理第二个输入文件passwd
  6.     $2 = a[$1]
  7.     # 输出一整条记录==print $0
  8.     print
  9. }

  
3. 检验passwd格式的正确性
不合法的情况可能有：
 （1）记录域数量不为7
 （2）用户名违规，不包含任何字母或数字
 （3）未设置密码，（密码字段应该是x，而不是"*"）

passwd.check.awk
  1. # check passwd
  2. BEGIN {
  3.     FS = ":"
  4. }
  5. # 执行体   
  6. NF != 7 {                                                 //  引用内建变量NF 做判断
  7.     printf("line %d, does not have 7 fields: %s\n", NR, $0)
  8. }
  9. $1 !~ /[a-zA-Z0-9]/{                                      // !~ 不匹配正则
  10.     printf("line %d, non alpha and nnumeric user id: %s\n", NR, $0)
  11. }
  12. $2 == "*" {                                              //  == 语法类似于C语言
  13.     printf("line %d, no password: %s\n", NR, $0)
  14. }

  
  




















  
1. 生成数据报表
   有一个数据文件datafile是某位业务员的客户们3个月来的交易统计。datafile中的数据以冒号为分隔符，分了5个字段，分别为用户的name，电话phone，1月的消费金额，2月的消费金额，3月的消费金额，
  要求：（1）生成人可读的数据报表，格式清晰
        （2）生成每位客户（每行记录）的3个月的消费总数，以及每个月的总营业额；
    awk脚本：
report.awk
  1. #!/usr/bin/awk -f
  2. # 生成数据报表
  3. BEGIN {
  4.     FS = ":";
  5.     OFS = "\t"
  6.     print "\t\t Report tables"
  7.     print "name\tphone\t\tJan\tFeb\tMar\t\tTotal"
  8.     print "——————————————————————————————————————————————————————"
  9. }
  10. # 求客户3个月的业绩和
  11. {$6 = $3 + $4 + $5}
  12. #{printf "%-8s%-15s%-9s%-8s%-15s%-12s\n", $1,$2,$3,$4,$5,$6}
  13. {print $1"\t"$2"\t"$3"\t"$4"\t"$5"\t\t"$6}
  14. {total3 +=$3}
  15. {total4 +=$4}
  16. {total5 +=$5}
  17. END {
  18.     print "_______________________________________________________"
  19.     print "This is Jan total: " total3
  20.     print "This is Feb total: " total4
  21.     print "This is Mar total: " total5
  22. }
  1. [root@web1 test]# awk -f report.awk datafile
  2.                  Report tables
  3. name    phone           Jan     Feb     Mar             Total
  4. ——————————————————————————————————————————————————————
  5. M H     (424)2222233    299     242     332322          332863
  6. N H     (423)2234242    345     3242    232             3819
  7. N J     (334)1992332    234     34242   324             34800
  8. _______________________________________________________
  9. This is Jan total: 878
  10. This is Feb total: 37726
  11. This is Mar total: 332878

2. awk 多文件联合处理
 
  2.1 用一个文件的域替换另一个文件的域

 系统用户文件passwd的第二段是用户密码，但是用X代替。真正的密码保存在shadow文件中的第二段。现在用shdow中的密文部分替换passwd中的x，生成一个新的passwd.pub
  1. vim join.awk
  2. # 替换文件的域
  3. BEGIN {
  4.     # 指定输出分隔符
  5.     OFS = ":"
  6.     # 输入字段分隔符
  7.     FS = ":"
  8. }
  9. # 执行体
  10. {
  11.   if (NR <= FNR){        # 正在处理第一个输入文件shadow
  12.     a[$1] = $2
  13.   }
  14.   if (NR > FNR){         # 正在处理第二个输入文件passwd
  15.     $2 = a[$1]
  16.     print
  17.   }
  18. }
  1. awk -f join.awk /etc/shadow /etc/passwd > passwd.pub
 小结： NR 是awk正在工作中的记录数，FNR是awk的当前输入文件的记录数，一开始工作时，NR<FNR,随着输入记录的增多NR会超过FNR.
      
  awk内建变量的用法：
 eg.
 直接做判断
  1. # 执行体
  2. NR <= FNR {        # 正在处理第一个输入文件shadow
  3.     a[$1] = $2
  4. }
  5. NR > FNR {         # 正在处理第二个输入文件passwd
  6.     $2 = a[$1]
  7.     # 输出一整条记录==print $0
  8.     print
  9. }

  
3. 检验passwd格式的正确性
不合法的情况可能有：
 （1）记录域数量不为7
 （2）用户名违规，不包含任何字母或数字
 （3）未设置密码，（密码字段应该是x，而不是"*"）

passwd.check.awk
  1. # check passwd
  2. BEGIN {
  3.     FS = ":"
  4. }
  5. # 执行体   
  6. NF != 7 {                                                 //  引用内建变量NF 做判断
  7.     printf("line %d, does not have 7 fields: %s\n", NR, $0)
  8. }
  9. $1 !~ /[a-zA-Z0-9]/{                                      // !~ 不匹配正则
  10.     printf("line %d, non alpha and nnumeric user id: %s\n", NR, $0)
  11. }
  12. $2 == "*" {                                              //  == 语法类似于C语言
  13.     printf("line %d, no password: %s\n", NR, $0)
  14. }

  
  




















  
Linux文本处理神器awk实战案例
herosunly的博客
07-03 1万+
1. 什么是awk 2. 打印不同列的内容 3. 打印行号和列号 4. 修改输入和输出分隔符 5. 输入多个文件 6. 修改某一列的值 7. 条件筛选后打印 8. 运算 9. 正则表达式
awk实战演练
叱咤少帅的博客
10-27 249
awk实战演练
AWK应用实战
qq_48644092的博客
11-10 311
1、AWK 日志分析统计 # 统计一个时间范围内访（pv）问量 grep '31/Oct/2020' access.log | wc -l awk '$4>="[05/Sep/2020：08：00：00" && $4<="[05/Sep/2020：09：00：00" {print $0}' access.log | wc -l #统计一个时间范围内访问量前10的ip grep "09/Nov/2020" access.log | awk '{ips[$1]+
Linux 三剑客之 awk 实战详解教程
03-15 640
我们知道 Linux 三剑客，它们分别是：grep、sed、awk。在前边已经讲过 grep 和 sed，没看过的同学可以直接点击阅读，今天要分享的是更为强大的 awk。 sed 可以实现非交互式的字符串替换，grep 能够实现有效的过滤功能。与两者相比，awk 是一款强大的文本分析工具，在对数据分析并生成报告时，显得尤为强悍。 awk 强大的功能，是一般 Linux 命令无法比拟的。在本文中，我不会告诉你 awk 也是一种编程语言，免得会吓到你。我们只需把它当做 Linux 下一款强大的文本分析工具即可
⚡ Linux awk 命令全面详解（包括记录、字段、命令空间）
最新发布
aitav0的博客
11-09 1008
awk 是一种强大的文本处理语言，主要用于模式匹配、文本分析、格式化输出等场景。它能够逐行扫描输入文件，对满足特定模式的文本执行相应的操作。本文所介绍的 awk 如无特殊说，均指 GNU awk (gawk) 实现。
awk实战案例
qq_63284884的博客
06-01 852
借此，可以取得日志中的时间字符串部分，再将它们的年、月、日、时、分、秒都取出来，然后放入mktime()构建成对应的epoch值。因为epoch值是数值，所以可以比较大小，从而决定时间的大小。（就像grep匹配成功的部分会加颜色显示，而使用FPAT划分字段，则是将匹配成功的部分保存在字段。格式的字符串转换成epoch值，然后和which_time比较大小即可筛选出精确到秒的日志。格式的字符串转换成epoch值，然后和which_time比较大小即可筛选出精确到秒的日志。
不看绝对后悔的Linux三剑客之awk实战精讲
weixin_34144450的博客
05-10 402
一、Linux三剑客之awk命令精讲第1章 awk基础入门1.1 awk简介awk不仅仅时linux系统中的一个命令，而且是一种编程语言，可以用来处理数据和生成报告（excel）。处理的数据可以是一个或多个文件，可以是来自标准输入，也可以通过管道获取标准输入，awk可以在命令行上直接编辑命令进行操作，也可以编写成awk程序来进行更为复杂的运用。本章主要讲解awk命令的运用1....
[Linux教程]Linux 三剑客之 awk 实战详解
kali_Ma的博客
06-17 903
前言 我们知道 Linux 三剑客，它们分别是： grep 、 sed 、 awk 。 sed可以实现非交互式的字符串替换， grep 能够实现有效的过滤功能。与两者相比， awk 是一款强大的文本分析工具，在对数据分析并生成报告时，显得尤为强悍。 awk 强大的功能，是一般 Linux 命令无法比拟的。在本文中，我不会告诉你 awk 也是一种编程语言，免得会吓到你。我们只需把它当做 Linux 下一款强大的文本分析工具即可。 场景 学习具体使用前，先来看下 awk 能干些什么事情： 能够将给定的文本内
awk 具体实战例子
epeaktop的专栏
12-19 529
用awk生成代码 awk -F',' 'BEGIN {printf(&quot;# coding:utf-8\nitem_conf_data = {\n&quot;);}; {printf(&quot;%s:\&quot;%s\&quot;,\n&quot;,$1,$2)}; END {printf(&quot;\n};\n&quot;);}' /cygdrive/e/huanling/sharedata/item_equip_table.c
Linux 三剑客之awk实战
Yummy
04-12 515
基本介绍 awk是Linux开发下常用的一种对文本进行处理的工具，具有十分强大的功能。数据可以来源于标准输入、文件及外部变量，支持用户自定义函数和动态正则表达式等高级功能，且拥有许多内置的功能和函数，是开发中的一件利器。 通常，awk是以文件的一行为处理单位的，每接收文件的一行，然后执行相应的命令处理文本。 语法格式 awk [选项参数] 'script' var=value file(...
AWK入门教程和实战案例
05-13
AWK入门教程和实战案例 linux脚本
awk实战
kuangfeng的博客
03-15 266
只处理用户ID为奇数的行,并打印用户名和uid号。
awk实战11-进阶-10种awk有效应用实战
文思源想的技术空间
08-21 880
上文我们讲了ａｗｋ的基本语法，可以发现ａｗｋ是一种基于模式－动作的文本处理语言；本文以ｗｃ用法开头，主要呈现ａｗｋ命令的十种常用用法。 awk ‘pattern{action}pattern{action}…’ file 1 awk实现wc命令 cat filename | awk 'BEGIN {print "SUM:"} {w += NF; c += length + 1} END {...
15个awk的经典实战案例
m0_63069714的博客
03-26 3044
可以取得日志中的时间字符串部分，再将它们的年、月、日、时、分、秒都读取出来，然后放入nktim()构建对应的epoch值。FPAT可以收集正则匹配的结果，并将它们保存在各个字段中。(就像grep匹配成功的部分会加颜色显示，而使用FPAT划分字段，则是将匹配成功的部分保存在字段$1 $2 $3...中)进行划分，然后将uid=xxx保存再数组当中，这是判断重复的依据，然后统计uid出现次数，第一次出现统计，第二次不统计。grep/sed/awk用正则去筛选日志时，如果要精确到小时、分钟、秒，则非常难以实现。
linux awk命令
wdt3385的专栏
09-25 1005
转自：http://blog.youkuaiyun.com/loyeyi/article/details/7634387 回到全局目录 ------------------------------------------------ 目录 简介 1 命令格式&说明 2 调用方法 3 域切分&操作 3 正则匹配 4 内置变量&操作 5 内置函数&操作 6 格式化输出 7 数组
【Shell 编程三剑客】shell-awk命令详解（理论+实战）
YCyjs的博客
07-25 3120
AWK是一种处理文本文件的语言，是一个强大的文本分析工具。它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作数据可以来自标准输入也可以是管道或文件。20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk之所以叫AWK是因为其取了三位创始人和的的首字符。
awk 命令实战教程
u013576331的博客
02-17 964
就像一个心灵手巧的老师傅，awk 最擅长的就是把大段大段的文本"解剖"开来，精准地找出你想要的信息。我们从最简单的日志过滤开始，逐步深入到了复杂的统计分析。记住，解决复杂的问题时，可以先拆分成小步骤，一步一步来处理。接下来我们来点高级的，带大家用 awk 处理日常工作中最常见的几个场景。还记得我遇到的第一个挑战：leader 让我从一个几GB的服务日志里找出造成系统故障的元凶。这些都是我平时工作中最常用的简单命令，基本够用了。今天，就让我用一个开发工程师的视角，带你认识这个陪伴了我 6 年多的老朋友。
Linux Sed与Awk实战指南
"《Linux Sed & Awk 2nd Edition》是Dale Dougherty和Arnold Robbins合著的一本关于Linux系统中两个强大文本处理工具的指南，全书共432页，第二版发行于1997年3月。这本书包含13个章节，全面介绍了sed和awk的基本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值