Linux三剑客之awk命令详解

最新推荐文章于 2025-06-21 06:45:00 发布

原创最新推荐文章于 2025-06-21 06:45:00 发布 · 1.4k 阅读

CC 4.0 BY-SA版权

文章标签：

27 篇文章

订阅专栏

awk 是一个功能强大的文本处理工具，尤其适合处理结构化数据（如日志文件、CSV文件等）。它能够根据指定的模式匹配和操作文本，常用于报告生成、数据统计和自动化任务。

记录（Record）：在awk中，一行文本称为一条记录。
字段（Field）：每条记录中的数据通过指定的分隔符（默认是空格或制表符）分成若干字段。字段在awk中用$1, $2, $3等表示，$0表示整条记录。

awk 'pattern { action }' [文件]

打印文件中的每一行：

awk '{print $0}' file.txt

或者

awk '{print}' file.txt

打印第一个字段：
```
awk '{print $1}' file.txt
```
按指定分隔符分割字段：
假设文件file.txt内容为逗号分隔的：
```
awk -F, '{print $1, $2}' file.txt
```
显示行号和内容：
```
awk '{print NR, $0}' file.txt
```
计算某一列的总和：
假设第2列是数字，计算其总和：
```
awk '{sum += $2} END {print sum}' file.txt
```
过滤并打印特定模式的行：
打印第二列大于100的行：
```
awk '$2 > 100' file.txt
```
处理多文件：
在处理多文件时，使用FNR来分别计算每个文件的行号：
```
awk '{print FILENAME, FNR, $0}' file1.txt file2.txt
```
BEGIN 和 END 块：
BEGIN块在处理文件前执行，END块在处理文件后执行：
```
awk 'BEGIN {print "Start"} {print $1} END {print "End"}' file.txt
```
修改输出分隔符：
将输出字段之间的分隔符从默认的空格改为逗号：
```
awk 'BEGIN {OFS=","} {print $1, $2, $3}' file.txt
```

统计文件中的单词频率：
统计每个单词出现的次数：

awk '{for (i=1; i<=NF; i++) freq[$i]++} END {for (word in freq) print word, freq[word]}' file.txt

文本替换：
统计每个单词出现的次数：

awk '{gsub(/old-text/, "new-text"); print}' file.txt

多条件匹配

awk '$1 == "condition1" && $2 ~ "condition2" { print $0 }' file.txt

数组处理：
awk 支持关联数组，可用于统计、分类等复杂操作：
```
awk '{arr[$1] += $2} END {for (i in arr) print i, arr[i]}' file.txt
```
正则表达式：
awk 中的模式支持正则表达式，可以更灵活地匹配数据：
```
awk '/pattern/ {print $0}' file.txt
```

用户定义变量：
使用-v选项传递变量：

awk -v threshold=100 '$2 > threshold {print $0}' file.txt

字段操作：
修改或重新排列字段：

awk '{temp=$1; $1=$2; $2=temp; print $0}' file.txt

awk 常与其他工具（如 grep、sed）结合使用，以处理更复杂的文本操作。例如，使用 grep 过滤出错误日志，再用 awk 统计错误类型：

grep 'ERROR' log.txt | awk '{errorType[$3]++} END {for (type in errorType) print type, errorType[type]}'

awk 是一个非常灵活且强大的工具，特别适合处理结构化文本。通过 awk 的基本操作和内置变量，能够在数据分析、报告生成等方面大幅提升效率。