awk详解及使用demo

Pert-

于 2022-12-21 11:18:18 发布

阅读量850

点赞数 1

文章标签： linux 运维服务器

本文链接：https://blog.youkuaiyun.com/s_frozen/article/details/128394764

版权

本文详细介绍了awk命令在Linux系统中的使用，包括排除、查询、统计和替换信息等核心功能。通过示例展示了awk如何处理文件中的列，如$1-$NF表示的列信息，以及如何进行模式匹配和条件判断。同时，文章还提到了awk与其他命令（如grep、sed）结合使用来排除空行和注释。此外，awk的BEGIN和END模式以及内置变量FS的使用也在文中提及，最后讨论了awk在日志统计和计数运算中的高级应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

awk：擅长统计分析文件内容，对文件中的列进行操作

作用特点

排除信息
查询信息
统计信息
替换信息

语法格式

awk [参数] '模式-动作' 文件

替换格式

gsub(/需要替换的信息/,"修改成什么信息",对第几列进行修改)

总结：awk命令中$符号的用法

$1,$2：取第1列信息和第二列信息
$NF：取最后一列
$(NF-1)：取倒数第二列
$0：取所有列信息

查询

按照行号查询信息

#查询第二行数据
awk 'NR==2' 1.txt

#查询第二行到第四行数据
awk 'NR==2,NR==4' 1.txt

#查询第二行和第四行数据
awk 'NR==2;NR==4' 1.txt

按照字符查询信息

#查询某字符数据
awk '/old/' 1.txt 

#查询两个字符之间的数据
awk '/old/,/boy/' 1.txt

#查询两个字符的数据
awk '/old/;/boy/' 1.txt

#不区分大小写
[root@pert ~]# awk '/a/' IGNORECASE=1  1.txt 
as
Ae

显示查询结果的某列

#查询old行然后取出第一列和第三列，中间以空格隔开
awk '/old/{print $1,$3}' 1.txt

#查询old行然后取出第一列和第三列，中间以逗号隔开
awk '/old/{print $1","$3}' 1.txt

修改以什么为分隔

awk '/old/{print $NF}' 1.txt | awk -F ":" '{print $3}'

$NF:最后一列
$(NF-1)：倒数第二列
$NF-1：最后一列的值-1
-F：修改以什么为分隔列

组合结果，直接以：为分隔
awk -F ":" '/old/{print $3}' 1.txt

添加间隔符号，并展示多列

awk -F "[ :]+" '/old/{print $1,$4}'

[ :]+：以空格或者:为分隔，有个+表示就算有多个空格也算一个，这里修改后间隔符有空格、:、空格:三种

先找出第三行数据，然后根据第三行的数据找出以41开头的，然后要这些的第一列和第二列的数据
```
awk '$3~/^41/{print $1,$2}' 1.txt

~:这里后面写找出第几列后这列的匹配规则规则
```
先找出第三列，然后根据第三列数据找出以1或5结尾的数据然后要第一列和第二列数据并且结果对齐显示
```
awk '$3~/1$|5$/{print $1,$2}' 1.txt | column -5

column -t：显示结果列对齐
```
先找出数据然后修改找出的内容，只是在显示上进行修改
```
awk '$2~/old/{gsub(/:/,"$",$NF);print $NF}'
```

文件中空行或注释进行排除

grep
```
grep -Ev "^#|^$" 1.txt
```
sed
```
sed -rn '/^#|^$/d' 1.txt
```
awk
```
awk '$0!~/^#|^$/' 1.txt
```

awk高级功能说明

对日志信息进行统计（计数）
对日志信息数值进行求和。客户端-下载、服务端-上传，都需要消耗网络流量
数组进行排序分析
进行脚本编写循环语句、判断语句

awk模式概念说明：匹配的条件信息

普通模式
- 正则表达式
  - /^old/
- 利用比较匹配信息
  - 第二行：NR==2
  - 第二行后：NR>2
  - 第二行前包含第二行：NR<=2
  - 第二行和第四行：NR2;NR4
  - 第二行到第四行：NR2,NR4

特殊模式

BEGIN{}：在awk执行命令前做什么事情

awk 'BEGIN{print "姓名","QQ号","捐款记录"}{print $0}' 1.txt | column -t

end{}：在awk执行命令后做什么事情

awk 'BEGIN{print "姓名","QQ号","捐款记录"}{print $0}END{print "操作结束"}' 1.txt | column -t

BEGIN

用于计算
```
awk 'BEGIN{print 100+22}'
```

修改内置变量

FS作用==-F

awk -F ":" '{print $2}' 1.txt
等同于
awk 'BEGIN{FS=':'}{print $2}' 1.txt
等同于-vFS=':'

利用awk公式进行计数运算

i=0
echo $((i=i+1))
或者
echo $(i++)

#统计这个文件中有多少空行
i=0
awk '/^$/{i++;print i}' /etc/services

只显示最后一行结果
awk '/^$/{i++}END{print i}' /etc/services

统计系统中有多少个虚拟用户普通用户

用户信息都保存在什么文件中
- /etc/passwd

从文件中匹配出虚拟用户、普通用户

普通用户
```
awk '$NF~/\/bin\/bash/' /etc/passwd
```
虚拟用户
```
awk '$NF!~/\/bin\/bash/' /etc/passwd
```

进行统计

awk 'BEGIN{i=0}$NF~/\/bin\/bash/{i++}END{print i}' /etc/passwd
等价于 可以不用提前设置i
awk '$NF~/\/bin\/bash/{i++}END{print i}' /etc/passwd

求和运算

seq 10 | awk '{sum=sum+$1;print sum}'
1
3
6
10
15
21
28
36
45
55

[root@pert ~]# cat 1.txt 
a 1  :1:2:3
b 2  :11:22:33

[root@pert ~]# awk -F "[ :]+" 'BEGIN{print "第一次总额","第二次总额"}{sum=sum+$3;sum2=sum2+$4}END{print sum,sum2}' 1.txt | column -t
第一次总额  第二次总额
12          24