文本三剑客之AWK

最新推荐文章于 2025-12-21 00:03:36 发布
原创 最新推荐文章于 2025-12-21 00:03:36 发布 · 106 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #运维 #服务器

awk是一种强大的文本分析工具，它逐行读取文本并按字段处理。常见内建变量包括$0（整行内容）、NR（行号）、$n（字段）、FS（列分割符）等。awk命令格式涉及模式和操作，BEGIN和END用于预处理和后处理。文章还展示了awk在查看内存使用率和CPU空闲率等实际应用中的用法。

目录

1.AWK工具介绍

2.AWK工作原理

3.AWK命令格式

4.AWK常见的内建变量（可直接使用）

 1.$0 当前处理的行的整行内容

 2.NR处理指定行内容

 3.使用BEGIN输出包含指定字符的行并统计有多少行 

 4.$n 当前处理行的第n个字段

 5.FS(-F)列分割符,指定每行文本的字段分隔符 

  6.OFS输出内容的列分隔

  7.NF当前处理的行的字段个数 

  8.RS行分隔符 

5.AWK实列

     1.查看内存使用率

2.查看CPU空闲率

3.AWK的定义与引用

1.AWK工具介绍

   （1）AWK 是一种处理文本文件的语言，是一个强大的文本分析工具；

   （2）可以在无交互的模式下实现复杂的文本操作；

   （3）相较于sed常作用于一整个行的处理，awk则比较倾向于一行当中分成数个字段来处理，因为awk相当适合小型的文本数据。

2.AWK工作原理

（1）逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
（2）awk倾向于将一行分成多个"字段"然后再进行处理。
（3）awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。
（4）使用awk命令的过程中,可以使用逻辑操作符"&&"表示"与"、"|"表示"或"、"!"表示"非"，还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

3.AWK命令格式

awk 选项 '模式或条件 {操作}' 文件1 文件2 ....
 
或者
awk -f 脚本文件 文件1 文件2 .....

 

4.AWK常见的内建变量（可直接使用）

内建变量作用
$0当前处理的行的整行内容。
NR当前处理的行的行号（序数）
$n 当前处理行的第n个字段（第n列）
FS 列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
OFS输出内容的列分隔符
NF当前处理的行的字段个数      $NF代表最后一个字段
FILENAME被处理的文件名
RS行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录， 而awk一次仅读入一条记录进行处理。预设值是'\n '

     1.$0 当前处理的行的整行内容

 

     2.NR处理指定行内容

     （1）使用数字处理行内容

 

 

（2）使用字符串处理行内容 

 

（3）打印行号

 

3.使用BEGIN输出包含指定字符的行并统计有多少行 

awk 'BEGIN{ ..};{..} ;END{.. .}' 文件

（1）BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作;

（2）awk再处理指定的文本，之后再执行END模式中指定的动作；

（3）END{ } 语句块中，往往会放入打印结果等语句。

awk 'BEGIN{x=0};/\/bash$/{x++};END {print x}' /etc/passwd
统计以/bin/bash 结尾的行数，等同于grep -c "/bash$"

 以：为行分隔符，进行统计行号

 

4.$n 当前处理行的第n个字段

 

$n ~ "字符串"   代表打印出第n个字段中包含某字符的行
$n =="字符串"   代表打印出第n个字段中为某字符串的行
 
$n != "字符串"   代表打印出第n个字段中不为某字符的串行

示例：

#打印出第一字段中包含root的行中的第一列于第3列
 
awk -F: '$1~"root"{print $1,$3} ' /etc/passwd

5.FS(-F)列分割符,指定每行文本的字段分隔符 

awk -F 分隔符 '{操作}'

 与！一起使用

 

6.OFS输出内容的列分隔符

  将空格换为“|”

 

 7.NF当前处理的行的字段个数

     打印第一个字段与最后一个字段

 

 

8.RS行分隔符 

 

5.AWK实列

 1.查看内存使用率

 

2.查看CPU空闲率

  top -b -n 1 只会输出一次top的结果 不会进行刷新

3.AWK的定义与引用

调用函数getline，读取一行数据的时候并不是得到当前行而是当前行的下一行 

显示奇数和偶数行

 

 

shanjun12
关注
【Shell脚本】文本三剑客之awk
F12138X的博客
05-17 1350
问渠那得清如许？为有源头活水来
文本三剑客之awk详解
Zsr1023的博客
11-22 158
AWK的简洁语法和强大功能使其成为Linux工具箱的常青树。通过组合模式匹配、字段操作和数学计算，它能高效解决80%的文本处理需求。掌握其核心三要素： $$ \text{模式匹配} \times \text{字段操作} \times \text{数据聚合} = \text{高效文本处理} $$ 即可在命令行中实现复杂数据处理流水线。
linux文本三剑客之awk
qq_56104175的博客
05-05 1259
使用awk调换passwd 第一列和最后一列内容，显示每一行内容（调换后的）1）awk进行统计，一般先进行计算，最后END里面输出结果。将url.txt文件中的域名取出并根据域名进行计数处理。awk数组专用循环，变量获取到时数组的下标，补充：column -t 命令使的格式对齐。2）用来处理文件之前，添加个表头（不常用）2）awk数组，用来输出数组结果（经常用）需要获取数组内容，格式为 数组名字[下标]统计这段话中字符数小于4的单词，显示出来。1）进行简单统计，计算，不设计读取文件。
shell——文本三剑客之awk
oyyy3的博客
10-27 473
目录 一.awk工作原理 1.命令格式 2.awk常见的内建变量 二.awk按字段输出文本 1.awk初始用 2.打印文本内的所有内容 3.提取ip地址 1.sed和awk 2.awk(有搜索功能) 4.提取多种不同的分隔符 5. 提取IP地址和时间 6.提取主机名再放回源文件中 7.FS的使用 8.OFS的使用 9.NF的使用 10.BEGIN{ }模式 三.awk按行输出文本 1.提取连续行 2.提取不连续行 ​3.提取以xxx结尾的内容行 4.查看..
Shell脚本文本三剑客之AWK
m0_51160032的博客
10-28 4499
一、AWK工具介绍 AWK 是一种处理文本文件的语言，是一个强大的文本分析工具 可以在无交互的模式下实现复杂的文本操作 相较于sed常作用于一整个行的处理，awk则比较倾向于一行当中分成数个字段来处理，因为awk相当适合小型的文本数据。 1.1AWK命令的基本格式 awk [选项] ‘模式条件{操作}’ 文件1 文件2... awk -f|-v 脚本文件 文件1 文件..... 1.2AWK工作原理 前面提到sed命令常用于一整行的处理,而awk比较倾向于将
Linux SSH配置密钥文件及免密登录
Tongyao
12-18 132
本文介绍了配置SSH免密登录的详细步骤：1）使用ssh-keygen生成RSA密钥对；2）将公钥加入authorized_keys文件；3）在A机器上传B机器私钥至.ssh目录；4）设置密钥权限为600；5）配置~/.ssh/config文件指定主机、用户和密钥路径；6）通过简化命令实现免密登录。整个过程强调了密钥权限设置的重要性，并提供了完整的配置示例。
【Linux】内网穿透（实操）/打洞
2401_83251330的博客
12-20 923
我这里没有记录"，于是，直接将该报文丢弃了，这就是防火墙策略。现在B可以直接去找A：B到A小区保安处说“我找54321号保安亭的A”，保安查登记簿发现8765号保安亭的B在允许名单里，于是放行。利用一台具有公网IP的服务器作为“桥梁”或“中继站”，通过由内网设备主动发起的、持续的连接，在公网与内网之间建立一条虚拟的数据隧道，从而绕过NAT/防火墙的限制。最后，如何验证你的云服务器上的端口是否是可达的，可以被公网访问的，我们可以在cmd使用telnet，如果没有telnet,可以在powershell执行。
Linux字符串处理
HZero
12-16 319
在Linux内核中，字符串处理函数与用户空间的C标准库类似，但为适应内核环境做了优化和调整。
MobaXterm 高效运维实战：从入门到进阶的 Linux 运维 “瑞士军刀” 用法
hy行者勇哥的博客
12-18 816
MobaXterm 作为 Linux 运维的 “全能工具包”，不仅集成了 SSH 终端、SFTP 文件传输、X11 图形转发等基础功能，更隐藏着批量执行、宏命令、会话分组等高级特性，能轻松解决新手常遇到的 “重复操作繁琐”“多服务器切换麻烦”“文件传输低效” 等痛点。本文用 “运维指挥中心” 的通俗比喻，拆解 MobaXterm 的核心架构，针对 Linux 运维中的高频问题，分享可直接上手的高级技巧与自动化脚本案例，帮助新手快速从 “手动跑腿” 升级为 “高效指挥”，大幅提升运维效率。
Linux C/C++ 学习日记（57）：定时器
最新发布
2302_79943247的博客
12-21 300
本文介绍了定时器的实现原理与代码示例。定时器是管理大量延时任务的模块，通过高效的数据结构（如红黑树、最小堆）组织任务，并使用IO多路复用（如epoll_wait）触发机制。文中采用红黑树存储定时任务，利用steady_clock确保时间单调性，通过emplace_hint优化插入效率。代码实现了添加/删除定时任务、检测触发和执行回调等功能，最终演示了结合epoll处理定时任务的完整流程。该方案兼顾了IO事件和定时任务处理，避免了sleep等低效方法。
实习面试题-Linux 系统面试题
CXY00000的博客
12-15 128
Linux硬链接与软链接区别：硬链接指向文件inode，删除源文件仍可访问；软链接是独立文件，删除源文件链接失效。 网络攻击类型：CC攻击通过并发请求耗尽服务器资源；DDOS攻击利用多台设备发起流量攻击；数据库注入通过恶意SQL语句入侵网站数据库。 Linux资源监控：常用命令包括top查看实时进程资源、free显示内存使用、netstat检查网络端口等。 进程与线程区别：进程独立运行，线程共享进程资源；进程切换开销大，适合隔离任务；线程适合并发处理，如多线程下载。 crontab定时任务：配置"
llinux--mount指令使用
qq_40642828的博客
12-19 266
在日常嵌入式开发中，经常需要对一些外插设备和网络设备进行挂载，常用的挂载指令为。,现在对此指令进行记录总结。多个选项用逗号分隔（无空格）
Linux 内核设计中的核心思想与架构原则
道阻其长，未来可期。笔耕不辍，行则将至!
12-15 2103
本文深入剖析Linux内核的设计思路与核心原理。首先阐述了"一切皆文件"的核心理念，通过图书馆模型类比说明系统资源如何被统一抽象为文件操作。重点解析了VFS虚拟文件系统的四层架构及其作为"万能适配器"的关键作用，详细展示了inode、file等核心数据结构的关系。文章采用洋葱模型图解内核的分层设计，包括系统调用接口、核心管理子系统、VFS抽象层、具体文件系统实现层和设备驱动层，并对比分析了各类文件系统特性。通过银行柜台、机场调度等生活化类比，使复杂的系统架构更易理解，同时提供代码片段说明实际运行机制。
Linux信号机制详解：从产生到处理
qq_64443929的博客
12-17 658
发送信号的方式有很多，主要是围绕用户、硬件、软件各种场景展开的，但是无论以什么方式发送信号，最终都要借助操作系统之手向目标进程写信号。该函数的相关声明如下：该函数可以更改指定进程更改信号处理动作，第一个参数为目标信号，第二个参数为函数指针类型，函数表明了接收到信号要执行的动作，函数指针的形参代表是收到了哪一个信号，才执行的。对信号进行自定义捕捉时，只需要程序的开始位置定义一次即可。函数执行成功时，返回SIG_ERR，一般为-1，代表老的动作，方便后续进行恢复。
Linux网关应用技术报告
ponygame的博客
12-20 210
本文分析了Linux网关的三种主流技术方案：基于iptables的方案简单成熟但性能有限；基于eBPF/XDP的方案高性能但开发门槛高；基于DPDK的方案适合电信级场景但硬件依赖强。报告指出行业面临性能瓶颈、运维复杂、安全防护不足等痛点，提出需满足高性能转发、灵活策略、安全防护等核心需求，并给出iptables NAT和XDP防护的代码示例。解决方案推荐结合DPDK/XDP实现高性能，采用eBPF动态加载支持策略热更新，结合Prometheus实现可视化监控。未来趋势包括智能化网关、零信任架构和Server
【Linux】理解“一切皆文件“与缓冲区机制：Linux文件系统的设计哲学
半截诗的博客~
12-18 693
本文深入探讨了Linux"一切皆文件"的设计哲学与缓冲区机制。文章首先通过对比Windows和Linux的I/O接口设计，展示了Linux统一文件抽象的优势。随后剖析了Linux内核中的关键数据结构——file结构体和file_operations函数指针表，揭示了"一切皆文件"的实现原理。文章还探讨了用户态缓冲区与内核态缓冲区的区别，解释了为何printf有缓冲而write没有。最后，作者展示了如何动手实现一个简易的IO库，帮助读者深入理解Linux文件系统的设计思
Linux 终端下的 My Sql 常用操作指南（替代 Navicat）
weixin_43652507的博客
12-18 257
Linux 终端下的 My Sql 常用操作指南（替代 Navicat）
【Linux 进程间通信】信号通信与共享内存核心解析
2301_77424087的博客
12-19 604
c运行// 函数原型（简化版）功能：注册信号处理函数，自定义信号的处理行为；参数signum：要捕获的信号编号；handler：信号处理方式，支持 3 种：SIG_DFL：使用系统默认处理行为；SIG_IGN：忽略该信号；自定义函数：如，接收信号编号作为参数；返回值：成功返回原信号处理函数地址，失败返回SIG_ERR。示例：自定义 SIGCONT 信号的处理函数c运行printf("捕获到信号%d，进程被唤醒\n", num);// 注册信号处理函数信号通信。
Linux MD5
霜雪i的博客，视频编解码，传统+AI
12-18 228
目的命令查看单个文件 MD5仅输出哈希值批量处理保存校验和校验已存文件脚本中调用使用 Python 或 Shell 函数封装📌 提示：你还可以将此命令集成到.sh脚本中，实现一键批量校验多个实验输出的 YUV 文件。
Linux文本三剑客awk练习
04-03
<think>嗯，用户想学习或练习Linux下的awk用法，需要提供示例和教程。首先，我得回忆一下awk的基本概念和工作原理。记得awk是一种文本处理工具，逐行处理数据，按字段进行操作。用户可能需要从基础开始，逐步深入。 然后，看看用户给的参考引用。引用[1]提到awk的工作原理，引用[2]展示了一个打印字段的例子，引用[3]则是一些更复杂的应用，比如处理ifconfig的输出。这些例子应该可以拆解成不同的练习题目，帮助用户逐步掌握。 接下来，得确保回答结构清晰。先介绍awk的基本用法，再提供由浅入深的示例。比如，从打印特定字段开始，到条件过滤、计算统计，再到文本处理的高级技巧，比如处理多行记录或正则表达式匹配。 还要注意用户的练习需求，可能需要实际问题来练习。例如，处理学生成绩表、日志分析、系统信息提取等，这些实际场景能帮助用户巩固知识。同时，结合参考中的例子，比如处理ifconfig的输出，可以设计相应的练习题。 另外，用户提到的示例中的多行处理（使用RS变量）和字段处理（FS变量）也很重要。需要详细说明这些概念，并提供示例代码和解释，确保用户理解如何修改记录分隔符和字段分隔符。 最后，生成相关问题，帮助用户进一步探索awk的高级功能，比如性能优化、复杂文本处理等。还要确保所有命令和示例符合LaTeX格式要求，行内公式用$...$，独立公式用$$...$$，并且正确引用来源。</think>### Linux awk 基础与进阶练习指南 ### 一、awk 基础用法 1. **核心原理** awk 按记录（默认行）处理文本，每条记录自动分割为字段（默认空格分隔），支持模式匹配与动作执行[^1]。基本结构： ```bash awk 'pattern {action}' file ``` 2. **字段操作示例** ```bash awk '{print $1, $3}' data.txt # 输出第1和第3列[^2] awk -F: '{print $1,$6}' /etc/passwd # 使用冒号分隔符 ``` ### 二、进阶练习示例 #### 1. 条件过滤 ```bash # 筛选成绩大于80的学生 awk '$3 > 80 {print $1, $3}' scores.txt # 排除空行 awk '!/^$/ {print}' log.txt ``` #### 2. 数值计算 ```bash # 计算文件总行数 awk 'END {print NR}' data.txt # 求第2列平均值 awk '{sum+=$2} END {print sum/NR}' numbers.txt ``` #### 3. 多字段处理 ```bash # 组合字段输出 awk '{print "用户:" $1, "UID:" $3}' /etc/passwd # 字段重排（交换第2、3列） awk '{tmp=$2; $2=$3; $3=tmp; print}' data.txt ``` #### 4. 系统信息提取（参考[^3]） ```bash # 获取所有IPv4地址（排除127） ifconfig | awk '/inet / && !($2 ~ /^127/) {print $2}' # 统计TCP连接数 netstat -ant | awk '$6 == "ESTABLISHED" {count++} END {print count}' ``` ### 三、高级技巧 1. **多行记录处理** 修改记录分隔符 `RS`： ```bash awk 'BEGIN{RS=""; FS="\n"} {print $2}' multi.txt # 处理段落格式数据 ``` 2. **数组应用** ```bash # 统计词频 awk '{for(i=1;i<=NF;i++) words[$i]++} END {for(w in words) print w, words[w]}' text.txt ``` 3. **正则表达式匹配** ```bash # 匹配带版本号的行 awk '/[0-9]+\.[0-9]+\.[0-9]+/ {print}' version.log ``` ### 四、实践项目 1. **日志分析** 分析 Nginx 访问日志： ```bash awk '$9 == 404 {print $7}' access.log | sort | uniq -c | sort -nr ``` 2. **数据报表生成** ```bash awk 'BEGIN{print "姓名\t总分"} {sum=$2+$3+$4; print $1 "\t" sum}' scores.txt ``` 3. **系统监控脚本** ```bash df | awk '$5 > 80 {print "警告: " $1 " 使用率 " $5}' ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值