Linux文本三剑客---awk经典案例

本文介绍了awk编程在Linux系统中进行文本文件处理的12个实例,包括获取磁盘空间、IP地址、统计访问量、筛选passwd文件等,展示了awk的强大功能和在IT技术中的应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

awk(是一种处理文本文件的应用程序,它依次处理文件的每一行,并读取里面的每一个字段。)

awk 包含几个特殊的内建变量(可直接用)如下所示:

1、获取根分区剩余大小

#可以使用df -h命令来查看所有已挂载的文件系统的磁盘空间使用情况

[root@node1 ~]# df -h | awk '/\/$/ {print $4}'

#在AWK中,NF是一个内置变量,代表当前记录的字段数

[root@node1 ~]# df -h | awk '$NF=="/" {print $4}'

2、获取当前机器ip地址

[root@node1 ~]# ifconfig ens160 | awk '/inet /'

[root@node1 ~]# ifconfig ens160 | awk '/inet / {print $2}'

3、统计出apache的access.log中访问量最多的5个IP

#在Linux中,uniq -c命令用于计算和报告重复行的数量。-c选项告诉uniq命令在输出中包含每行的重复次数。

[root@node1 ~]# awk '{print $1'} /var/log/httpd/access_log | sort |uniq -c

4、打印/etc/passwd中UID大于500的用户名和uid

#在AWK中,-F选项用于指定输入字段的分隔符。默认情况下,AWK使用空格或制表符作为字段分隔符。但是,你可以使用-F选项来更

改这个分隔符。

[root@node1 ~]# awk -F: '$3>500 {print $1, $3}' /etc/passwd

5、/etc/passwd 中匹配包含root或net或ucp的任意行

[root@node1 ~]# awk '/root|net|ucp/' /etc/passwd

6、处理以下文件内容,将域名取出并根据域名进行计数排序处理(百度搜狐面试题)

[root@node1 ~]# cat test.txt

[root@node1 ~]# awk -F/ '{print $3}' test.txt | sort |uniq -c

7、请打印出/etc/passwd 第一个域,并且在第一个域所有的内容前面加上“用户帐号:”

[root@node1 ~]# awk -F: 'BEGIN{print "用户账号:"}{print $1}' /etc/passwd

8、请打印第一列,并且打印头部信息为:这个是系统用户,打印尾部信息为:"================"

[root@node1 ~]# awk -F: 'BEGIN{print "这个是系统用户"}{print $1}END{print "================"}' /etc/passwd

9、请打印出第一列匹配daemon的信息.

[root@node1 ~]# awk -F: '/^daemon/ {print $0}' /etc/passwd

[root@node1 ~]# awk -F: '$1~/daemon/ {print $0}' /etc/passwd

10、请将/etc/passwd 中的root替换成gongda,记住是临时替换输出屏幕看到效果即可.

[root@node1 ~]# sed -n 's/root/gongda/g p' /etc/passwd

11、请匹配passwd最后一段域bash结尾的信息,有多少条

#在Linux中,wc -l命令用于计算文件中的行数。-l选项告诉wc命令我们想要计算的是行数。

[root@node1 ~]#  awk '/bash$/' /etc/passwd | wc -l

12、请同时匹配passwd文件中,带mail或bash的关键字的信息

[root@node1 ~]# awk '/mail|bash/'  /etc/passwd

<think>嗯,用户想学习或练习Linux下的awk用法,需要提供示例和教程。首先,我得回忆一下awk的基本概念和工作原理。记得awk是一种文本处理工具,逐行处理数据,按字段进行操作。用户可能需要从基础开始,逐步深入。 然后,看看用户给的参考引用。引用[1]提到awk的工作原理,引用[2]展示了一个打印字段的例子,引用[3]则是一些更复杂的应用,比如处理ifconfig的输出。这些例子应该可以拆解成不同的练习题目,帮助用户逐步掌握。 接下来,得确保回答结构清晰。先介绍awk的基本用法,再提供由浅入深的示例。比如,从打印特定字段开始,到条件过滤、计算统计,再到文本处理的高级技巧,比如处理多行记录或正则表达式匹配。 还要注意用户的练习需求,可能需要实际问题来练习。例如,处理学生成绩表、日志分析、系统信息提取等,这些实际场景能帮助用户巩固知识。同时,结合参考中的例子,比如处理ifconfig的输出,可以设计相应的练习题。 另外,用户提到的示例中的多行处理(使用RS变量)和字段处理(FS变量)也很重要。需要详细说明这些概念,并提供示例代码和解释,确保用户理解如何修改记录分隔符和字段分隔符。 最后,生成相关问题,帮助用户进一步探索awk的高级功能,比如性能优化、复杂文本处理等。还要确保所有命令和示例符合LaTeX格式要求,行内公式用$...$,独立公式用$$...$$,并且正确引用来源。</think>### Linux awk 基础与进阶练习指南 ### 一、awk 基础用法 1. **核心原理** awk 按记录(默认行)处理文本,每条记录自动分割为字段(默认空格分隔),支持模式匹配与动作执行[^1]。基本结构: ```bash awk 'pattern {action}' file ``` 2. **字段操作示例** ```bash awk '{print $1, $3}' data.txt # 输出第1和第3列[^2] awk -F: '{print $1,$6}' /etc/passwd # 使用冒号分隔符 ``` ### 二、进阶练习示例 #### 1. 条件过滤 ```bash # 筛选成绩大于80的学生 awk '$3 > 80 {print $1, $3}' scores.txt # 排除空行 awk '!/^$/ {print}' log.txt ``` #### 2. 数值计算 ```bash # 计算文件总行数 awk 'END {print NR}' data.txt # 求第2列平均值 awk '{sum+=$2} END {print sum/NR}' numbers.txt ``` #### 3. 多字段处理 ```bash # 组合字段输出 awk '{print "用户:" $1, "UID:" $3}' /etc/passwd # 字段重排(交换第2、3列) awk '{tmp=$2; $2=$3; $3=tmp; print}' data.txt ``` #### 4. 系统信息提取(参考[^3]) ```bash # 获取所有IPv4地址(排除127) ifconfig | awk '/inet / && !($2 ~ /^127/) {print $2}' # 统计TCP连接数 netstat -ant | awk '$6 == "ESTABLISHED" {count++} END {print count}' ``` ### 三、高级技巧 1. **多行记录处理** 修改记录分隔符 `RS`: ```bash awk 'BEGIN{RS=""; FS="\n"} {print $2}' multi.txt # 处理段落格式数据 ``` 2. **数组应用** ```bash # 统计词频 awk '{for(i=1;i<=NF;i++) words[$i]++} END {for(w in words) print w, words[w]}' text.txt ``` 3. **正则表达式匹配** ```bash # 匹配带版本号的行 awk '/[0-9]+\.[0-9]+\.[0-9]+/ {print}' version.log ``` ### 四、实践项目 1. **日志分析** 分析 Nginx 访问日志: ```bash awk '$9 == 404 {print $7}' access.log | sort | uniq -c | sort -nr ``` 2. **数据报表生成** ```bash awk 'BEGIN{print "姓名\t总分"} {sum=$2+$3+$4; print $1 "\t" sum}' scores.txt ``` 3. **系统监控脚本** ```bash df | awk '$5 > 80 {print "警告: " $1 " 使用率 " $5}' ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值