shell脚本文本三剑客之awk

最新推荐文章于 2023-02-05 11:46:43 发布
最新推荐文章于 2023-02-05 11:46:43 发布
阅读量931 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Zhaozhongqiang/article/details/121341497
本文详细介绍了awk工具，包括其命令格式、工作原理和常见内建变量。讲解了如何打印文本内容，根据字段$n提取信息，通过选项-F指定分隔符操作，并展示了BEGIN和END模式的应用。此外，还提供了多个实战案例，如统计文件系统类型、提取主机名和单词出现次数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1.awk工具介绍

1.1 awk命令格式

1.2 awk工作原理

1.3 常见的内建变量

2.打印文本内容

2.1 打印磁盘已使用情况

2.2 打印字符串确定文件有多少行 

 3.根据$n提取字段

3.1 提取ip地址

 3.2 提取mac地址

4.根据选项-F指定分隔符

4.1 打印/etc/passwd所有用户名

4.2 打印磁盘已经使用情况，去除% 

5.使用BEGIN输出包含指定字符的行并统计有多行

6.案例

6.1 统计/etc/fstab文件中每个文件系统类型出现的次数

6.2 提取主机名并放入原文件

6.3 统计/etc/fstab文件中每个单词出现的次数

1.awk工具介绍

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具

可以在无交互的模式下实现复杂的文本操作

相较于sed常作用于一整个行的处理，awk则比较倾向于一行当中分成数个字段来处理，因为awk相当适合小型的文本数据。

1.1 awk命令格式

awk [选项] ‘模式条件{操作}’ 文件1 文件2...
awk -f|-v 脚本文件 文件1 文件.....

1.2 awk工作原理

awk比较倾向于将一行分成多个"字段"然后再进行处理，且默认情况下字段的分隔符为空格或tab键。awk 执行结果可以通过print的功能将字段数据打印显示。

在使用awk命令的过程中，可以使用逻辑操作符"&&“表示"与”、"“表示"或”、"!“表示"非”;还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

awk后面接两个单引号并加上大括号{ }来设置想要对数据进行的处理操作，awk可以处理后续接的文件，也可以读取来自前个命令的标准输。

1.3 常见的内建变量

FS∶ 列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同

NF∶ 当前处理的行的字段个数。

NR∶ 当前处理的行的行号（序数）。

$0∶当前处理的行的整行内容。

$n∶ 当前处理行的第n个字段（第n列）。

FILENAME∶ 被处理的文件名。

RS∶ 行分隔符。awk从文件上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录，以进行处理。预设值是’\n’

2.打印文本内容

2.1 打印磁盘已使用情况

[root@localhost ~]# df |awk '{print $5}'
已用%
13%
0%
0%
1%
0%
1%
18%
1%
100%

2.2 打印字符串确定文件有多少行 

[root@localhost ~]# awk '{print "hello"}' /etc/fstab
hello
hello
hello
hello
hello
hello
hello
hello
hello
hello
hello
hello

 3.根据$n提取字段

3.1 提取ip地址

 3.2 提取mac地址

4.根据选项-F指定分隔符

4.1 打印/etc/passwd所有用户名

4.2 打印磁盘已经使用情况，去除% 

5.使用BEGIN输出包含指定字符的行并统计有多行

BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作;

awk再处理指定的文本，之后再执行END模式中指定的动作；

END{ } 语句块中，往往会放入打印结果等语句。

#先定义变量x，表示执行多少次
[root@localhost opt]#awk 'BEGIN {x=0};/\/bin\/bash$/;{x++};END{print x}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
yxp:x:1000:1000:yxp:/home/yxp:/bin/bash
42

FS∶ 列分割符提取列

[root@localhost opt]#awk -v FS=: '{print $1FS$3}' /etc/passwd
root:0
bin:1
daemon:2
adm:3
lp:4
......

NF

打印出每行最后一个字段

[root@localhost opt]#cat /etc/passwd |awk -F: '{print $NF}'
/bin/bash
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
......

打印出每行倒数第二个字段

[root@localhost opt]#cat /etc/passwd |awk -F: '{print $(NF-1)}'
/root
/bin
/sbin
/var/adm
 
[root@localhost opt]#df|awk '{print $(NF-1)}'
已用%
8%
0%
0%
3%
0%
18%
1%
1%
100%

NR

当前处理的行的行号

#NR写在后面则在后面显示行号
[root@localhost opt]#awk  -F":" '{print $1,NR}' /etc/passwd
root 1
bin 2
daemon 3
adm 4
lp 5
sync 6
shutdown 7
halt 8
 
#可以用制表符
[root@localhost opt]#awk  -F":" '{print $1"\t"NR}' /etc/passwd
root	1
bin	2
daemon	3
adm	4
lp	5
 
#NR写在前面则在前面显示行号
[root@localhost opt]#awk  -F":" '{print NR"\t"$1}' /etc/passwd
1	root
2	bin
3	daemon
4	adm
5	lp

6.案例

6.1 统计/etc/fstab文件中每个文件系统类型出现的次数

[root@localhost opt]#cat /etc/fstab |awk '/[^#]/{print}'
# /etc/fstab
# Created by anaconda on Sat Sep  4 02:48:23 2021
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=183ca7c7-1989-4f43-9e81-d2676192f5a4 /boot                   xfs     defaults        0 0
/dev/mapper/centos-home /home                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0
 
 
[root@localhost opt]#cat /etc/fstab |awk '/^[^#]/{print}'|awk '{print $3}'|sort |uniq -c
      1 swap
      3 xfs

6.2 提取主机名并放入原文件

[root@localhost opt]#vim text.txt
 
http://mail.kgc.com/index.html
http://www.kgc.com/test.html
http://study.kgc.com/index.html
http://blog.kgc.com/index.html
http://www.kgc.com/images/logo.jpg
http://blog.kgc.com/20080102.html
http://www.kgc.com/images/kgc.jpg
 
 
[root@localhost opt]#cat text.txt |awk -F"[. /]" '{print $3}' >>text.txt 
[root@localhost opt]#cat text.txt 
http://mail.kgc.com/index.html
http://www.kgc.com/test.html
http://study.kgc.com/index.html
http://blog.kgc.com/index.html
http://www.kgc.com/images/logo.jpg
http://blog.kgc.com/20080102.html
http://www.kgc.com/images/kgc.jpg
mail
www
study
blog
www
blog
www

6.3 统计/etc/fstab文件中每个单词出现的次数

[root@localhost opt]#grep -Eo "\b[[:alpha:]]+\b" /etc/fstab |sort|uniq -c|sort
      1 Accessible
      1 anaconda
      1 and
      1 are
      1 blkid
      1 boot
      1 Created
      1 disk
      1 etc
      1 filesystems
      1 findfs
      1 for
      1 info
      1 maintained
      1 man
      1 more
      1 mount
      1 on
      1 or
      1 pages
      1 reference
      1 root
      1 Sat
      1 See
      1 Sep
      1 under
      1 UUID
      2 by
      2 fstab
      2 home
      3 centos
      3 mapper
      3 swap
      3 xfs
      4 defaults
      4 dev
戒为良药~
关注
【linux】Shell脚本三剑客之awk命令的详细用法攻略
景天科技苑
07-24 1万+
在Linux和Unix系统中，awk是一种强大的文本处理工具，广泛应用于数据提取、分析和报告生成。它基于模式匹配和条件执行，能够逐行读取输入文本文件，并对每行数据执行指定的操作。本教程将详细介绍`awk`在shell脚本中的用法，包括其基本语法、常用选项、内置变量、高级特性以及结合shell脚本的实际案例。
shell文本三剑客（grep、awk、sed）
最新发布
weixin_43612842的博客
08-27 934
grepsed和awk被称为Linux三剑客，是因为它们在文本处理和数据操作方面极其强大且常用。：文本搜索工具，在文件中搜索符合正则表达式的文本内容，并打印匹配的行。：文本处理工具，主要用于对结构化数据进行格式化和拆分处理，进行数据统计和报告生成；：流编辑器，对文本进行插入、删除、替换、提取等操作；
Shell文本处理工具–awk
12-21
awk 用法： awk　 -F 　分隔符 　BEGIN{}{}END{}　 FILENAME　　　　　　　　　　　默认以空格为分隔符 BEGIN和END可以忽略不写。 NR 　　　　　　　　　　　　　#显示行数 NF 　　　　　　　　　　　　　#列数 以冒号为分隔符，每一行的列数。 以bash结尾的行的列数。 打印出以bash结尾的行。 FILENAME　　　　　　　　　 #遇到符合条件的行就打印一次文件名称本身 westos　　　　　　　　　　　 #westos变量值 “westos”　　　　　　　　　　　 #westos字符串 /bash$/ 　　　　　　　　　　　条件，表
Linux 私房菜————Shell脚本命令（七）awk命令|工作原理|内建变量|实例讲解|
🈚️
05-20 736
awk工作原理与实例）1.awk概述2.命令格式3.awk常见的内建变量4.例题4.1输出所有和内容4.2 输出1-3行内容4.3 输出所有奇数行4.4 输出所有奇数行4.5 输出以 a开头的行4.6 输出以a 结尾的行4.7 BEGIN模式4.8 按字段输出文本4.9输出每行中的第1、3个字段4.10 通过管道、双引号调用 Shell 命令4.11 查看当前内存的可用率 1.awk概述   逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命
Shell文本处理 awk命令
monster_hahaha的博客
02-16 301
1定义 awk是一个报告生成器，它拥有强大的文本格式化能力。 通俗的说，我们可以利用awk命令将一些文本处理成我们需要的样子，例如表格。 awk早期是在unix上实现的，我们现在在linux上使用的其实是gawk,全称为GUN awk. awk也是一门语言，它支持判断，数组，循环等功能。 2.语法 awk [options] 'pattern{action}' file a...
Shell脚本之awk用法
weibiaoshen8445的博客
08-08 1085
一、语法 awk是一种可以处理数据、产生格式化报表的语言，功能十分强大。awk认为文件中的每一行是一条记录，记录与记录的分隔符为换行符，每一列是一个字段，字段与字段的分隔符默认是一个或多个空格或tab制表符。 awk的工作方式是读取数据，将每一行数据视为一条记录（record），每条记录以字段分隔符分成若干字段，然后输出各个字段的值。 awk语法： awk [options] [BEGIN]{program} [END][file] 常用命令选项： -F fs：指定描绘一行中数据段的文件分隔符，默认为空格
Shell脚本之awk篇
weixin_33854644的博客
07-17 985
Shell脚本之awk篇 目录： 一、概述 二、awk基本语法格式 三、awk基本操作 四、awk条件及循环语句 五、awk函数 六、awk演示示例(源自于man手册) 一、概述 1. 产品概述：     awk是一种编程语言，用于在linux/unix下对文本和数据进行扫描与处理。数据可以来自标准输入、文件、管道。     awk分别代表其作者姓氏的第一个字母。因为它的...
Shell脚本文本三剑客之AWK
m0_51160032的博客
10-28 4469
一、AWK工具介绍 AWK 是一种处理文本文件的语言，是一个强大的文本分析工具 可以在无交互的模式下实现复杂的文本操作 相较于sed常作用于一整个行的处理，awk则比较倾向于一行当中分成数个字段来处理，因为awk相当适合小型的文本数据。 1.1AWK命令的基本格式 awk [选项] ‘模式条件{操作}’ 文件1 文件2... awk -f|-v 脚本文件 文件1 文件..... 1.2AWK工作原理 前面提到sed命令常用于一整行的处理,而awk比较倾向于将
Shell脚本文本三剑客awk
稻香的博客
06-04 444
一. awk是什么 awk 是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk有很多内建的功能，比如数组、函数等，这是它和C语言的相同之处，灵活性是awk最大的优势。 ......
shell脚本三剑客之AWK
weixin_63634809的博客
02-14 1948
文章目录一、AWK工具介绍1.1 AWK 命令的格式1.2 AWK 工作原理1.3 常见的内建变量二、AWK 命令的使用1.打印文本内容 一、AWK工具介绍 AWK是一种处理文本文件的语言，是一个强大的文本分析工具。 它是专门为文本处理设计的编程语言，也适行处理软件，通常用于扫描、过滤、统计汇总工作 数据可以来自标准输入也可以是管道或文件 AWK 是一种处理文本文件的语言，是一个强大的文本分析工具 可以在无交互的模式下实现复杂的文本操作 相较于 sed 常作用于一整个行的处理，awk ..
Shell脚本之文本处理三剑客——awk
MONGJUK的博客
02-05 964
文本处理三剑客之一awk的使用以及详细案例
Linux-Awk命令处理学生成绩案例
06-27 1921
一、grep命令 1、语法：grep [options] PATTERN file 2、作用：用于查找文件里符合条件的字符串。 3、常用选项： -n 显示行号 -H 显示具体文件名 –color 显示颜色 -v 不匹配规则 -r 递归的搜索 4、案例： （1）搜索文中手机号格式的字符串：$ grep -n -H “[0-9]{11}” test.txt （2）搜索文中手机号格式的字符串（PREs正则表达式风格）：$ grep -P -n -H “\d{11}” test.txt （3）其他案例：
第五课 Shell脚本编程-awk用法
QnHyn
10-18 1451
awk用法
shell脚本--awk的用法
yrx420909的博客
02-15 564
1. awk的用法 语法格式：awk [选项] ‘指令’ 操作文件 常用选项：-F 指定分隔符，分隔符用""引起来 -v：var=value在awk程序开始之前指定一个值valu给变量var，这些变量值用于awk程序的BEGIN快 -f：后面跟一个保存了awk程序的文件，代替在命令行指定awk程序 实例1：在命令行直接输入awk指令 awk ‘{print}’ 1.txt #逐行读取...
awk中使用shell命令的方法
delphiwcdj的专栏
10-15 1950
2011-10-15 awk中使用shell命令的方法： 方法1：system 方法2：getline （获取shell命令结果的第一行输出） [1] system #!/bin/sh echo "gerry" | awk '{ system("d
shell--正则表达式之awk
qq397750142的博客
12-05 513
一.awk工具的概述 在linux系统中，awk是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于shell脚本，完成各种自动化配置任务 二.awk的常见用法 awk的命令格式如下 awk 选项 ‘模式或条件 {编辑指令}’ 文件1 文件2... /...
Shell编程三剑客之awk
weixin_71429844的博客
08-10 753
Shell编程三剑客之awk
Shell编程之正则表达式-awk工具使用
weixin_39608791的博客
07-29 1143
文章目录一、Shell编程之正则表达式-awk工具使用1、awk的内建变量2、查找出/etc/passwd的用户名、用户ID、组ID3、输出所有内容，等同于cat test.txt4、输出所有内容，等同于cat test.txt5、输出第1~3行内容6、输出第1~3行内容7、输出第1行、第3行内容8、输出所有奇数行的内容9、输出所有偶数行的内容10、输出以root开头的行11、输出以nologin结尾的行12、统计以/bin/bash结尾的行数13、统计以空行分隔的文本段落数14、输出第行中（以空格或制表位
shell的文本三剑客
08-24
Shell 的文本三剑客是指 grep、sed 和 awk。 1. grep (Global Regular Expression Print) 是一个强大的文本搜索工具，它可以搜索文件中符合指定模式的行，并将其打印出来。grep 支持正则表达式，可以用来快速过滤和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值