linux awk 命令复习

最新推荐文章于 2024-12-19 17:42:40 发布

转载最新推荐文章于 2024-12-19 17:42:40 发布 · 168 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://www.cnblogs.com/ftl1012/p/9250541.html

linux内核&运维专栏收录该内容

34 篇文章

订阅专栏

本文介绍Awk这一强大的文本分析工具的基础使用方法及高级技巧，包括基本语法、常见命令实例、变量赋值及循环控制等，适合希望提升文本处理能力的技术人员阅读。

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

使用方法： awk '{pattern + action}' {filenames}

尽管操作可能会很复杂，但语法总是这样，其中 pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。花括号（{}）不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。 pattern就是要表示的正则表达式，用斜杠括起来。

awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。

常用命令展示：

样本数据：

// 显示所有user1的行

awk 'user1 ' /etc/passwd

// 遍历所有user1的行输出第五列值

awk -F: 'user1 {print $5}' /etc/passwd

// 统计文件名、每行行号、列数，完整内容

awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd

// 使用printf替代print,可以让代码更加简洁，易读

awk -F: '{printf ("filename:%10s, linenumber:%3s,column:%3s,content:%3f\n",FILENAME,NR,NF,$0)}' /home/**/test.txt

// 打印第三行文件内容

awk -F: 'NR=3{print "filename: " FILENAME, $0}' /etc/passwd

// 指定分隔符，查询第二列

awk -F ’：‘ ’｛print $2｝‘ /etc/passwd

// 指定分隔符，查询最后一列

awk -F ’：‘ ’｛print $NF｝‘ /etc/passwd

// 指定分隔符，查询倒数第二列

awk -F ’：‘ ’｛print $NF-1｝‘ /etc/passwd

// 获取第12到31行的第一列的信息

awk -F ':' '{if （NR<31 && NR>12）print $1}' /etc/passwd

// 多分隔符的使用

awk -F "[/]" 'NR == 4 {print $0,"\n",$1}' /etc/passwd

// 添加了BEGIN和END

cat /etc/passwd | awk -F: 'BEGIN{print "name, shell"} {print $1,$NF} END{print "hello world"}'

// 查看最近登录最多的IP信息

last | awk '{S[$3]++} END{for(a in S ) {print S[a],a}}' |uniq| sort -rh

// 利用正则过滤多个空格

ifconfig |grep eth* | awk -F '[ ]+' '{print $1}'

awk编程--变量和赋值

除了awk的内置变量，awk还可以自定义变量, awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。

统计某个文件夹下的大于100k文件的数量和总和

1 2	`ls` `-l\|awk` `'{if($5>100){count++; sum+=$5}} {print "Count:" count,"Sum: " sum}'` `【因为awk会轮询统计，所以会显示整个过程】` `ls` `-l\|awk` `'{if($5>100){count++; sum+=$5}} END{print "Count:" count,"Sum: " sum}'` `【天界END后只显示最后的结果】`

1	`<strong>备注：</strong>count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句，而action{}可以有多个语句，以;号隔开`

统计显示/etc/passwd的账户

awk -F: '{count++;} END{print count}' /etc/passwd

cat /etc/passwd|wc -l

awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd