Linux 练习 - 文本处理三剑客之AWK

最新推荐文章于 2023-12-15 00:14:39 发布

东方隐

最新推荐文章于 2023-12-15 00:14:39 发布

阅读量520

点赞数 2

分类专栏： Linux 练习

本文链接：https://blog.youkuaiyun.com/ncyind/article/details/107050448

版权

本文通过8个实例介绍了如何利用AWK在Linux环境中处理文本数据，包括提取主机名、统计文件系统类型、单词出现次数、提取数字、找出整数范围、DOS攻击防护、FQDN计数排序以及按inode聚合数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、文件 ip_list.txt 如下格式，请提取 ”.solin.com” 前面的主机名部分并写入到回到该文件中

1 blog.solin.com

2 www.solin.com

…

999 study.solin.com

[root@centos7 ~]# awk -F "[ .]" '{print $2}' ip_list.txt >> ip_list.txt

2、统计 /etc/fstab 文件中每个文件系统类型出现的次数

[root@centos7 ~]# awk '/^UUID/{fs[$3]++}END{for(i in fs){print i,fs[i]}}' /etc/fstab
swap 1
xfs 2

3、统计 /etc/fstab 文件中每个单词出现的次数

[root@centos7 ~]# awk -F "[)( /=',-]" '{for(i=1;i<=NF;i++){if($i ~ "\\<[[:alpha:]]+\\>"){word[$i]++}}}END{for(i in word){print word[i],i}}' /etc/fstab  | sort -nr

或 

[root@centos7 ~]# awk -F "[)( /=',-]" '{for(i=1;i<=NF;i++){if($i ~ "\\y[[:alpha:]]+\\y"){word[$i]++}}}END{for(i in word){print word[i],i}}' /etc/fstab  | sort -nr

4、提取出字符串 Yd$C@M05MB%9&Bdh7dq+YVixp3vpw 中的所有数字

[root@centos7 ~]# echo "Yd$C@M05MB%9&Bdh7dq+YVixp3vpw" | awk '{gsub(/[^0-9]/,"",$0);print $0}'
05973

5、有一文件记录了 1-100000 之间随机的整数共 5000 个，存储的格式 100,50,35,89… 请取出其中

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

东方隐

关注关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

第五章 文本处理工具和正则表达式 -- 文本处理三剑客之 awk（五）

Raymond的博客

04-13

279

next 可以提前结束对本行处理而直接进入下一行处理（awk自身循环）范例： 6.14 数组 awk的数组为关联数组格式范例: index-expression范例：范例: 范例：判断数组索引是否存在若要遍历数组中的每个元素，要使用for循环注意：var会遍历array的每个索引范例：遍历数组范例：显示主机的连接状态出现的次数范例：范例：封掉查看访问日志中连接次数超过1000次的IP 范例：多维数组 6.15 awk函数 awk 的函数分为内置和自定义函数官方文档 6.15.1 常见内置函数

文本三剑客------awk 文本处理语言

weixin_45697293的博客

11-19

690

文章目录awk简介awk工作原理print格式awk变量1.内置变量2. 自定义变量printf命令操作符常用的action分类awk控制语句1.if--else语法：2.while循环3.do-while循环4.for循环5.switch语句6.break和continue性能比较 awk简介 awk：报告生成器，格式化文本输出版本：New awk（nawk），GNU awk（ gawk） gawk：模式扫描和处理语言基本用法： awk [options] ‘program’ var=value fi

1 条评论您还未登录，请先登录后发表或查看评论

企业shell面试题：利用Linux三剑客解答企业面试题实战

weixin_34343000的博客

10-10

768

Linux三剑客企业级经典面试题解答实战说明：来自早晨老男孩教育在线班一期同学的面试题和学生给出的答案整理面试题：请过滤oldboy.log中在device: {}里面出现了多少次oldboy，过滤并统计出来。oldboy is a linuxer.device: {oooldboyno sqlthis is logniu niu}oldboydevice: {oldboyno sqlthis ...

Linux 练习 - 文本处理三剑客之SED

东方隐

05-29

278

1、删除 centos7 系统 /etc/grub2.cfg 文件中所有以空白开头的行行首的空白字符； [root@centos7 ~]# sed -ri 's/^[ ]+(.*)$/\1/' /etc/grub2.cfg 或 [root@centos7 ~]# sed -ri.bak 's/^[ ]+(.*)$/\1/' /etc/grub2.cfg 2、删除 /etc/fstab 文件中所有以#开头，后面至少跟一个空白字符的行的行首的 # 和空白字符； [root@localhost ~]# sed

Linux文本三剑客grep练习

weixin_72583321的博客

12-15

1298

1、显示/etc/rc.d/rc.sysinit文件中以不区分大小的h开头的行； 2、显示/etc/passwd中以sh结尾的行; 3、显示/etc/fstab中以#开头，且后面跟一个或多个空白字符，而后又跟了任意非空白字符的行； 4、查找/etc/rc.d/rc.local中包含“以to开始并以to结尾”的字串行； 5、查找/etc/inittab中含有“以s开头，并以d结尾的单词”模式的行； 6、查找ifconfig命令结果中的1-255之间的整数；

Linux学习系列 --awk命令学习

ydm东方旭日的专栏

08-10

484

关于awk命令一直想学一篇文章，无意中发现awk命令学习这篇文章总结的很好，于是转载至此。 awk简介 awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言，三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输...

Linux三剑客

令狐_JackieHao的博客

04-29

1800

Linux三剑客 文章目录Linux三剑客一、正则表达式1.2**正则表达意义**：二、Linux三剑客grep2.1、grep练习2.2、找出所有以m开头的行2.3、输出所有以m开头的行2.4输出所有以i开头的行2.5找出所有允许登录的用户，解释器是/bin/bash的行三、sed与正则表达式3.1、输出文件第二行、第三行3.2、过滤出含有“Linux”字样的文本3.3、删除含有game的行3.4、全局替换，将my换成i四、sed配合正则表达式企业案例4.1、取出linux的ip地址【去头去尾】五、Lin

linux文本切割awk,文本处理工具之awk

weixin_42297439的博客

05-13

1219

文本处理工具之AWK一、linux文本处理工具三剑客：grep、sed、awk。其中grep是一种文本过滤器，sed是文本行编辑器，而awk是一种报表生成器，就是对文件进行格式化处理的，这里的格式化不是文件系统的格式化，而是对文件内容进行各种“排版”，进而格式化显示。在linux上我们使用的是GNU awk 简称 gawk，并且gawk是awk的链接文件，因此在系统上使用gawk和awk效果一样二...

文本处理三剑客grep、sed、awk

哭的博客

09-16

781

处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用。awk 处理的工作方式与数据库类似，支持对记录和字段处理，这也是 grep 和 sed 不能实现的。sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容发送往屏幕。然后读入下行，执行下一个循环。在 awk 中，缺省的情况下将文本文件中的一行视为一个记录，逐行放到内存中处理，而将一行中的。pattern1，pattern2 范围模式，匹配所有模式1的记录，直到匹配到模式2。$后跟数字，引用对应的字段，以逗号分隔，0 表示整个行。

脚本作业

passionboyxie的专栏

09-25

1147

Steve Blenheim:238-923-7366:95 Latham Lane, Easton, PA 83755:11/12/56:20300 Betty Boop:245-836-8357:635 Cutesy Lane, Hollywood, CA 91464:6/

关于Linux文本处理“三剑客”的一些小操作。

FQ992537288的博客

08-19

135

Linux文本处理“三剑客”,即grep、sed、awk，这是Linux中最核心的3个命令。一、首先做个简单的介绍： 1、awk:linux三剑客老大，过滤，输出内容，一门语言。NR代表行号。 2、sed: linux三剑客老二，流编辑器，实现对文件的增删改查替换；参数 -n 取消默认输出 3、grep:linux三剑客老三，过滤所需要...

Linux：三剑客之一 sed 的练习一

zJay-L's Blog

08-04

220

sed 流编辑器（非交互式编辑器） stream editor (如果在使用sed的过程中发现’‘内的符号或者其他有冲突，可以尝试把’'换成"") 工作模式：逐行处理语法： sed [选项] ‘行的定位动作’ 文件… 选项： -n：静默输出,关闭模式空间的输出,不会输出未匹配到的行一般与p命令结合使用 -e：允许进行多项编辑,也就是说对同一行做多次处理、. 可以做多点编辑 -e ‘动作1’ -e ‘动作2’ == ‘动作1;动作2’ -f：后接sed脚本,指定执行的s

有关linux三剑客之sed的一道练习题

weixin_34259559的博客

08-27

278

1.1 取出a.txt中的908这三个数字：实例：[root@zhengjincheng tmp]# cat a.txt aaaaaaaaaaaaabbbb bbbbbbbbbbbbbbi am zjc 1046(88)908 jiayou[root@zhengjincheng tmp]#结果是：[root@zhengjincheng tmp]# cat a.txt aaaa...

L29.linux命令每日一练 -- 第四章 文本处理三剑客 -- sed命令

Raymond的博客

07-17

358

【命令星级】 ★★★★★ 【功能说明】 sed是Stream Editor（字符流编辑器）的缩写，简称流编辑器。它是Linux三剑客之一。 sed是操作、过滤和转换文本内容的强大工具。sed的常用功能包含对文件实现快速增删改查（增加、删除、修改、查询），其中查询的功能中最常用的两大功能是过滤（过滤指定字符串）和取行（取出指定的行）。【语法格式】说明： 1）为了避免混淆，本文称呼sed为sed或sed命令，将实现不同sed功能的内部命令参数，称为“sed内置命令字符”，以区

linux shell学习--awk练习

weixin_30564785的博客

05-07

140

例子文件素材样式： 120.197.87.216 - - [04/Jan/2012:00:00:02 +0800] "GET /home.php?mod=space&uid=563413&mobile=yes HTTP/1.1" 200 3388 "-" "-"123.126.50.73 - - [04/Jan/2012:00:00:02 +0800] "GET /th...

linux三剑客—grep,awk,sed

qq_34577961的博客

04-06

1398

练习题：grep、sed、awk练习题 - myfu - 博客园一、grep 格式;:grep [OPTIONS] PATTERN [FILE...] 常用的正则表达通配符 ^ 起始文本 '^love' 匹配所有以love开头的行 $ 结束文本 'love$' 匹配所有以love结束的行 . 匹配一个字符 'l..e' 匹配包含一个l, 接着两个字符, 最后一个 e 的行 * 匹配零或者多个之前的字符 ' *love' 匹配零或多个空格, 后面接着字符串love（注：*前有一个空格） [.

Linux基本命令练习(8)---awk

_今已亭亭如盖矣

08-23

940

awk介绍awk不单单是一个命令，而是一门语言。 awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。（擅长取列）调用awk1.命令行使用awk [-F field-separator] ‘commands’input-file(s) commands是真正awk命令，[-F域分隔符]，input-file(s)是待处理的文件。在aw

Linux文件工具三剑客,liunx文本处理三剑客及文本处理工具的使用与练习。

weixin_39937412的博客

05-06

141

linux文本处理三剑客：grep ==擅长过滤，把想要的或者不想要的分离开。linux三剑客 老三 -A: 除了显示匹配的一行之外，并显示该行之前的num行；-B：除了显示匹配的一行之外，并显示该行之后的num行；-C:除了显示匹配的一行之外，并显示该行之前后各num行sed==擅长取行、替换。三剑客老二①过滤：sed -n’/过滤的内容/处理的命令’ 文件，-n 取消sed的默认输出。-...

linux中文本处理三剑客

微生活Pro

08-07

2379

正则表达式（Regular Expression，）：元字符： . 任意单个字符表示字符个数的元字符： * 匹配其前面的字符任意次如：a*b 则b，ab aab aaab都可以但acb不可以 .* 任意长度的任意字符 \？匹配其前面的字符1次或0次 \{m,n\}:匹配其前面的字符至少m次，至多n次位置锚定： ^:锚定行首，此字符后面的任意内容必须出现在行首 $:锚定行尾，此字符...

Linux文本三剑客awk练习

最新发布

04-03

<think>嗯，用户想学习或练习Linux下的awk用法，需要提供示例和教程。首先，我得回忆一下awk的基本概念和工作原理。记得awk是一种文本处理工具，逐行处理数据，按字段进行操作。用户可能需要从基础开始，逐步深入。然后，看看用户给的参考引用。引用[1]提到awk的工作原理，引用[2]展示了一个打印字段的例子，引用[3]则是一些更复杂的应用，比如处理ifconfig的输出。这些例子应该可以拆解成不同的练习题目，帮助用户逐步掌握。接下来，得确保回答结构清晰。先介绍awk的基本用法，再提供由浅入深的示例。比如，从打印特定字段开始，到条件过滤、计算统计，再到文本处理的高级技巧，比如处理多行记录或正则表达式匹配。还要注意用户的练习需求，可能需要实际问题来练习。例如，处理学生成绩表、日志分析、系统信息提取等，这些实际场景能帮助用户巩固知识。同时，结合参考中的例子，比如处理ifconfig的输出，可以设计相应的练习题。另外，用户提到的示例中的多行处理（使用RS变量）和字段处理（FS变量）也很重要。需要详细说明这些概念，并提供示例代码和解释，确保用户理解如何修改记录分隔符和字段分隔符。最后，生成相关问题，帮助用户进一步探索awk的高级功能，比如性能优化、复杂文本处理等。还要确保所有命令和示例符合LaTeX格式要求，行内公式用$...$，独立公式用$$...$$，并且正确引用来源。</think>### Linux awk 基础与进阶练习指南 ### 一、awk 基础用法 1. **核心原理** awk 按记录（默认行）处理文本，每条记录自动分割为字段（默认空格分隔），支持模式匹配与动作执行[^1]。基本结构： ```bash awk 'pattern {action}' file ``` 2. **字段操作示例** ```bash awk '{print $1, $3}' data.txt # 输出第1和第3列[^2] awk -F: '{print $1,$6}' /etc/passwd # 使用冒号分隔符 ``` ### 二、进阶练习示例 #### 1. 条件过滤 ```bash # 筛选成绩大于80的学生 awk '$3 > 80 {print $1, $3}' scores.txt # 排除空行 awk '!/^$/ {print}' log.txt ``` #### 2. 数值计算 ```bash # 计算文件总行数 awk 'END {print NR}' data.txt # 求第2列平均值 awk '{sum+=$2} END {print sum/NR}' numbers.txt ``` #### 3. 多字段处理 ```bash # 组合字段输出 awk '{print "用户:" $1, "UID:" $3}' /etc/passwd # 字段重排（交换第2、3列） awk '{tmp=$2; $2=$3; $3=tmp; print}' data.txt ``` #### 4. 系统信息提取（参考[^3]） ```bash # 获取所有IPv4地址（排除127） ifconfig | awk '/inet / && !($2 ~ /^127/) {print $2}' # 统计TCP连接数 netstat -ant | awk '$6 == "ESTABLISHED" {count++} END {print count}' ``` ### 三、高级技巧 1. **多行记录处理** 修改记录分隔符 `RS`： ```bash awk 'BEGIN{RS=""; FS="\n"} {print $2}' multi.txt # 处理段落格式数据 ``` 2. **数组应用** ```bash # 统计词频 awk '{for(i=1;i<=NF;i++) words[$i]++} END {for(w in words) print w, words[w]}' text.txt ``` 3. **正则表达式匹配** ```bash # 匹配带版本号的行 awk '/[0-9]+\.[0-9]+\.[0-9]+/ {print}' version.log ``` ### 四、实践项目 1. **日志分析** 分析 Nginx 访问日志： ```bash awk '$9 == 404 {print $7}' access.log | sort | uniq -c | sort -nr ``` 2. **数据报表生成** ```bash awk 'BEGIN{print "姓名\t总分"} {sum=$2+$3+$4; print $1 "\t" sum}' scores.txt ``` 3. **系统监控脚本** ```bash df | awk '$5 > 80 {print "警告: " $1 " 使用率 " $5}' ```