文本三剑客之AWK

最新推荐文章于 2025-12-20 15:12:19 发布
原创 最新推荐文章于 2025-12-20 15:12:19 发布 · 106 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #运维 #服务器

awk是一种强大的文本分析工具，它逐行读取文本并按字段处理。常见内建变量包括$0（整行内容）、NR（行号）、$n（字段）、FS（列分割符）等。awk命令格式涉及模式和操作，BEGIN和END用于预处理和后处理。文章还展示了awk在查看内存使用率和CPU空闲率等实际应用中的用法。

目录

1.AWK工具介绍

2.AWK工作原理

3.AWK命令格式

4.AWK常见的内建变量（可直接使用）

 1.$0 当前处理的行的整行内容

 2.NR处理指定行内容

 3.使用BEGIN输出包含指定字符的行并统计有多少行 

 4.$n 当前处理行的第n个字段

 5.FS(-F)列分割符,指定每行文本的字段分隔符 

  6.OFS输出内容的列分隔

  7.NF当前处理的行的字段个数 

  8.RS行分隔符 

5.AWK实列

     1.查看内存使用率

2.查看CPU空闲率

3.AWK的定义与引用

1.AWK工具介绍

   （1）AWK 是一种处理文本文件的语言，是一个强大的文本分析工具；

   （2）可以在无交互的模式下实现复杂的文本操作；

   （3）相较于sed常作用于一整个行的处理，awk则比较倾向于一行当中分成数个字段来处理，因为awk相当适合小型的文本数据。

2.AWK工作原理

（1）逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
（2）awk倾向于将一行分成多个"字段"然后再进行处理。
（3）awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。
（4）使用awk命令的过程中,可以使用逻辑操作符"&&"表示"与"、"|"表示"或"、"!"表示"非"，还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

3.AWK命令格式

awk 选项 '模式或条件 {操作}' 文件1 文件2 ....
 
或者
awk -f 脚本文件 文件1 文件2 .....

 

4.AWK常见的内建变量（可直接使用）

内建变量作用
$0当前处理的行的整行内容。
NR当前处理的行的行号（序数）
$n 当前处理行的第n个字段（第n列）
FS 列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
OFS输出内容的列分隔符
NF当前处理的行的字段个数      $NF代表最后一个字段
FILENAME被处理的文件名
RS行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录， 而awk一次仅读入一条记录进行处理。预设值是'\n '

     1.$0 当前处理的行的整行内容

 

     2.NR处理指定行内容

     （1）使用数字处理行内容

 

 

（2）使用字符串处理行内容 

 

（3）打印行号

 

3.使用BEGIN输出包含指定字符的行并统计有多少行 

awk 'BEGIN{ ..};{..} ;END{.. .}' 文件

（1）BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作;

（2）awk再处理指定的文本，之后再执行END模式中指定的动作；

（3）END{ } 语句块中，往往会放入打印结果等语句。

awk 'BEGIN{x=0};/\/bash$/{x++};END {print x}' /etc/passwd
统计以/bin/bash 结尾的行数，等同于grep -c "/bash$"

 以：为行分隔符，进行统计行号

 

4.$n 当前处理行的第n个字段

 

$n ~ "字符串"   代表打印出第n个字段中包含某字符的行
$n =="字符串"   代表打印出第n个字段中为某字符串的行
 
$n != "字符串"   代表打印出第n个字段中不为某字符的串行

示例：

#打印出第一字段中包含root的行中的第一列于第3列
 
awk -F: '$1~"root"{print $1,$3} ' /etc/passwd

5.FS(-F)列分割符,指定每行文本的字段分隔符 

awk -F 分隔符 '{操作}'

 与！一起使用

 

6.OFS输出内容的列分隔符

  将空格换为“|”

 

 7.NF当前处理的行的字段个数

     打印第一个字段与最后一个字段

 

 

8.RS行分隔符 

 

5.AWK实列

 1.查看内存使用率

 

2.查看CPU空闲率

  top -b -n 1 只会输出一次top的结果 不会进行刷新

3.AWK的定义与引用

调用函数getline，读取一行数据的时候并不是得到当前行而是当前行的下一行 

显示奇数和偶数行

 

 

shanjun12
关注
文本三剑客之awk
2201_75804946的博客
03-25 819
statements例：编写一个取最大值的函数。
Linux文本三剑客之awk
2401_84618124的博客
07-11 1082
例3：监控内存，cpu和硬盘的根目录，超过80%提示用户，写成函数库的行，每天早上 的8:50分，执行一次脚本。RS ：行分隔符，可以根据RS的设置把文件内容分割成多个记录，也可以改变行的分隔符，默认是\n，回车，换行。：相当于if [ $3 > $4 ]，后面的内容就是为真的时候输出的内容，这里是输出$3。第一个: ：相当于else，后面的内容就是判断为假的时候输出的内容，这里是输出$4。NF ：处理行的字段字数，特殊的，$NF表示当前行的最后一个字段。$# ：#是数字，表示按行需要取出的第几个字段。
文本三剑客之 awk
weixin_67033761的博客
05-18 584
1
文本三剑客之awk进阶练习题
ujjhh的博客
07-31 881
文本三剑客之awk进阶练习题
文本三剑客之awk详解
Zsr1023的博客
11-22 158
AWK的简洁语法和强大功能使其成为Linux工具箱的常青树。通过组合模式匹配、字段操作和数学计算，它能高效解决80%的文本处理需求。掌握其核心三要素： $$ \text{模式匹配} \times \text{字段操作} \times \text{数据聚合} = \text{高效文本处理} $$ 即可在命令行中实现复杂数据处理流水线。
文本三剑客之awk命令
2301_76602495的博客
06-21 1213
END模式是awk的另外一种特殊模式，该模式执行的时机与BEGIN模式恰好相反，它是在awk命令处理完所有的数据，即将退出程序时成立，在此之前，END模式并不成立。所以，用户可以将与数据文件无关，而且在整个程序的生命周期中，只需执行1次的代码放在BEGIN模式对应的操作中，一般用于打印报告的标题和更改内在变量的值。awk 还是一种编程语言环境，它提供了正则表达式的匹配，流程控制，运算符，表达式，变量以及函数等一系列的程序设计语言所具备的特性，它从C语言中获取了一些优秀的思想。变量的作用是用来存储数据。
【Shell脚本】文本三剑客之awk
F12138X的博客
05-17 1350
问渠那得清如许？为有源头活水来
linux文本三剑客之awk
qq_56104175的博客
05-05 1259
使用awk调换passwd 第一列和最后一列内容，显示每一行内容（调换后的）1）awk进行统计，一般先进行计算，最后END里面输出结果。将url.txt文件中的域名取出并根据域名进行计数处理。awk数组专用循环，变量获取到时数组的下标，补充：column -t 命令使的格式对齐。2）用来处理文件之前，添加个表头（不常用）2）awk数组，用来输出数组结果（经常用）需要获取数组内容，格式为 数组名字[下标]统计这段话中字符数小于4的单词，显示出来。1）进行简单统计，计算，不设计读取文件。
shell——文本三剑客之awk
oyyy3的博客
10-27 473
目录 一.awk工作原理 1.命令格式 2.awk常见的内建变量 二.awk按字段输出文本 1.awk初始用 2.打印文本内的所有内容 3.提取ip地址 1.sed和awk 2.awk(有搜索功能) 4.提取多种不同的分隔符 5. 提取IP地址和时间 6.提取主机名再放回源文件中 7.FS的使用 8.OFS的使用 9.NF的使用 10.BEGIN{ }模式 三.awk按行输出文本 1.提取连续行 2.提取不连续行 ​3.提取以xxx结尾的内容行 4.查看..
Shell脚本文本三剑客之AWK
m0_51160032的博客
10-28 4499
一、AWK工具介绍 AWK 是一种处理文本文件的语言，是一个强大的文本分析工具 可以在无交互的模式下实现复杂的文本操作 相较于sed常作用于一整个行的处理，awk则比较倾向于一行当中分成数个字段来处理，因为awk相当适合小型的文本数据。 1.1AWK命令的基本格式 awk [选项] ‘模式条件{操作}’ 文件1 文件2... awk -f|-v 脚本文件 文件1 文件..... 1.2AWK工作原理 前面提到sed命令常用于一整行的处理,而awk比较倾向于将
Linux SSH配置密钥文件及免密登录
Tongyao
12-18 133
本文介绍了配置SSH免密登录的详细步骤：1）使用ssh-keygen生成RSA密钥对；2）将公钥加入authorized_keys文件；3）在A机器上传B机器私钥至.ssh目录；4）设置密钥权限为600；5）配置~/.ssh/config文件指定主机、用户和密钥路径；6）通过简化命令实现免密登录。整个过程强调了密钥权限设置的重要性，并提供了完整的配置示例。
【Linux】内网穿透（实操）/打洞
最新发布
2401_83251330的博客
12-20 1325
我这里没有记录"，于是，直接将该报文丢弃了，这就是防火墙策略。现在B可以直接去找A：B到A小区保安处说“我找54321号保安亭的A”，保安查登记簿发现8765号保安亭的B在允许名单里，于是放行。利用一台具有公网IP的服务器作为“桥梁”或“中继站”，通过由内网设备主动发起的、持续的连接，在公网与内网之间建立一条虚拟的数据隧道，从而绕过NAT/防火墙的限制。最后，如何验证你的云服务器上的端口是否是可达的，可以被公网访问的，我们可以在cmd使用telnet，如果没有telnet,可以在powershell执行。
Linux字符串处理
HZero
12-16 319
在Linux内核中，字符串处理函数与用户空间的C标准库类似，但为适应内核环境做了优化和调整。
MobaXterm 高效运维实战：从入门到进阶的 Linux 运维 “瑞士军刀” 用法
hy行者勇哥的博客
12-18 820
MobaXterm 作为 Linux 运维的 “全能工具包”，不仅集成了 SSH 终端、SFTP 文件传输、X11 图形转发等基础功能，更隐藏着批量执行、宏命令、会话分组等高级特性，能轻松解决新手常遇到的 “重复操作繁琐”“多服务器切换麻烦”“文件传输低效” 等痛点。本文用 “运维指挥中心” 的通俗比喻，拆解 MobaXterm 的核心架构，针对 Linux 运维中的高频问题，分享可直接上手的高级技巧与自动化脚本案例，帮助新手快速从 “手动跑腿” 升级为 “高效指挥”，大幅提升运维效率。
实习面试题-Linux 系统面试题
CXY00000的博客
12-15 129
Linux硬链接与软链接区别：硬链接指向文件inode，删除源文件仍可访问；软链接是独立文件，删除源文件链接失效。 网络攻击类型：CC攻击通过并发请求耗尽服务器资源；DDOS攻击利用多台设备发起流量攻击；数据库注入通过恶意SQL语句入侵网站数据库。 Linux资源监控：常用命令包括top查看实时进程资源、free显示内存使用、netstat检查网络端口等。 进程与线程区别：进程独立运行，线程共享进程资源；进程切换开销大，适合隔离任务；线程适合并发处理，如多线程下载。 crontab定时任务：配置"
llinux--mount指令使用
qq_40642828的博客
12-19 268
在日常嵌入式开发中，经常需要对一些外插设备和网络设备进行挂载，常用的挂载指令为。,现在对此指令进行记录总结。多个选项用逗号分隔（无空格）
Linux 内核设计中的核心思想与架构原则
道阻其长，未来可期。笔耕不辍，行则将至!
12-15 2105
本文深入剖析Linux内核的设计思路与核心原理。首先阐述了"一切皆文件"的核心理念，通过图书馆模型类比说明系统资源如何被统一抽象为文件操作。重点解析了VFS虚拟文件系统的四层架构及其作为"万能适配器"的关键作用，详细展示了inode、file等核心数据结构的关系。文章采用洋葱模型图解内核的分层设计，包括系统调用接口、核心管理子系统、VFS抽象层、具体文件系统实现层和设备驱动层，并对比分析了各类文件系统特性。通过银行柜台、机场调度等生活化类比，使复杂的系统架构更易理解，同时提供代码片段说明实际运行机制。
Linux信号机制详解：从产生到处理
qq_64443929的博客
12-17 658
发送信号的方式有很多，主要是围绕用户、硬件、软件各种场景展开的，但是无论以什么方式发送信号，最终都要借助操作系统之手向目标进程写信号。该函数的相关声明如下：该函数可以更改指定进程更改信号处理动作，第一个参数为目标信号，第二个参数为函数指针类型，函数表明了接收到信号要执行的动作，函数指针的形参代表是收到了哪一个信号，才执行的。对信号进行自定义捕捉时，只需要程序的开始位置定义一次即可。函数执行成功时，返回SIG_ERR，一般为-1，代表老的动作，方便后续进行恢复。
Linux文本三剑客awk练习
04-03
<think>嗯，用户想学习或练习Linux下的awk用法，需要提供示例和教程。首先，我得回忆一下awk的基本概念和工作原理。记得awk是一种文本处理工具，逐行处理数据，按字段进行操作。用户可能需要从基础开始，逐步深入。 然后，看看用户给的参考引用。引用[1]提到awk的工作原理，引用[2]展示了一个打印字段的例子，引用[3]则是一些更复杂的应用，比如处理ifconfig的输出。这些例子应该可以拆解成不同的练习题目，帮助用户逐步掌握。 接下来，得确保回答结构清晰。先介绍awk的基本用法，再提供由浅入深的示例。比如，从打印特定字段开始，到条件过滤、计算统计，再到文本处理的高级技巧，比如处理多行记录或正则表达式匹配。 还要注意用户的练习需求，可能需要实际问题来练习。例如，处理学生成绩表、日志分析、系统信息提取等，这些实际场景能帮助用户巩固知识。同时，结合参考中的例子，比如处理ifconfig的输出，可以设计相应的练习题。 另外，用户提到的示例中的多行处理（使用RS变量）和字段处理（FS变量）也很重要。需要详细说明这些概念，并提供示例代码和解释，确保用户理解如何修改记录分隔符和字段分隔符。 最后，生成相关问题，帮助用户进一步探索awk的高级功能，比如性能优化、复杂文本处理等。还要确保所有命令和示例符合LaTeX格式要求，行内公式用$...$，独立公式用$$...$$，并且正确引用来源。</think>### Linux awk 基础与进阶练习指南 ### 一、awk 基础用法 1. **核心原理** awk 按记录（默认行）处理文本，每条记录自动分割为字段（默认空格分隔），支持模式匹配与动作执行[^1]。基本结构： ```bash awk 'pattern {action}' file ``` 2. **字段操作示例** ```bash awk '{print $1, $3}' data.txt # 输出第1和第3列[^2] awk -F: '{print $1,$6}' /etc/passwd # 使用冒号分隔符 ``` ### 二、进阶练习示例 #### 1. 条件过滤 ```bash # 筛选成绩大于80的学生 awk '$3 > 80 {print $1, $3}' scores.txt # 排除空行 awk '!/^$/ {print}' log.txt ``` #### 2. 数值计算 ```bash # 计算文件总行数 awk 'END {print NR}' data.txt # 求第2列平均值 awk '{sum+=$2} END {print sum/NR}' numbers.txt ``` #### 3. 多字段处理 ```bash # 组合字段输出 awk '{print "用户:" $1, "UID:" $3}' /etc/passwd # 字段重排（交换第2、3列） awk '{tmp=$2; $2=$3; $3=tmp; print}' data.txt ``` #### 4. 系统信息提取（参考[^3]） ```bash # 获取所有IPv4地址（排除127） ifconfig | awk '/inet / && !($2 ~ /^127/) {print $2}' # 统计TCP连接数 netstat -ant | awk '$6 == "ESTABLISHED" {count++} END {print count}' ``` ### 三、高级技巧 1. **多行记录处理** 修改记录分隔符 `RS`： ```bash awk 'BEGIN{RS=""; FS="\n"} {print $2}' multi.txt # 处理段落格式数据 ``` 2. **数组应用** ```bash # 统计词频 awk '{for(i=1;i<=NF;i++) words[$i]++} END {for(w in words) print w, words[w]}' text.txt ``` 3. **正则表达式匹配** ```bash # 匹配带版本号的行 awk '/[0-9]+\.[0-9]+\.[0-9]+/ {print}' version.log ``` ### 四、实践项目 1. **日志分析** 分析 Nginx 访问日志： ```bash awk '$9 == 404 {print $7}' access.log | sort | uniq -c | sort -nr ``` 2. **数据报表生成** ```bash awk 'BEGIN{print "姓名\t总分"} {sum=$2+$3+$4; print $1 "\t" sum}' scores.txt ``` 3. **系统监控脚本** ```bash df | awk '$5 > 80 {print "警告: " $1 " 使用率 " $5}' ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值