Shell文本三剑客之AWK

Linux 常用命令 grep 大家好,我是云炬学长。基于目前很多企业都在使用 Linux 操作系统,掌握 Linux 命令行已经成为运维人必备的基础知识和技能,学习命令是为了更好地解决问题。上一篇分享了运维中遇到的问题及解决办法,这次分享 Linux 的常用基础命令 grep。关键字加引号(单引号,双引号),不加引号的区别。 阅读详情

目录

一、AWK工具介绍 

1.1AWK命令的基本格式

1.2AWK工作原理

1.3常见的内建变量(可直接用)

二、实例

2.1打印文本内容

2.2根据$n提取字段

2.3根据选项-F指定分隔符

2.4根据关键字提取所在行

2.5 使用BEGIN输出包含指定字符的行并统计有多行

 2.6 FS∶ 列分割符提取列

2.7NF∶

2.8 NR:

三、案例


一、AWK工具介绍 

  • AWK 是一种处理文本文件的语言,是一个强大的文本分析工具

  • 可以在无交互的模式下实现复杂的文本操作

  • 相较于sed常作用于一整个行的处理,awk则比较倾向于一行当中分成数个字段来处理,因为awk相当适合小型的文本数据。

1.1AWK命令的基本格式

awk [选项] ‘模式条件{操作}’ 文件1 文件2...
awk -f|-v 脚本文件 文件1 文件.....

1.2AWK工作原理

前面提到sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个"字段"然后再进行处理,且默认情况下字段的分隔符为空格或tab键。awk 执行结果可以通过print的功能将字段数据打印显示。

在使用awk命令的过程中,可以使用逻辑操作符"&&“表示"与”、"“表示"或”、"!“表示"非”;还可以进行简单的数学运算,如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

awk后面接两个单引号并加上大括号{ }来设置想要对数据进行的处理操作,awk可以处理后续接的文件,也可以读取来自前个命令的标准输。

1.3常见的内建变量(可直接用)

FS∶ 列分割符。指定每行文本的字段分隔符,默认为空格或制表位。与"-F"作用相同

NF∶ 当前处理的行的字段个数。

NR∶ 当前处理的行的行号(序数)。

$0∶当前处理的行的整行内容。

$n∶ 当前处理行的第n个字段(第n列)。

FILENAME∶ 被处理的文件名。

RS∶ 行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’\n’

二、实例

2.1打印文本内容

  • awk可以将自动将多个空格压缩成一个空格

  • 打印字符串需要加双引号

案例1:打印磁盘已经使用情况

案例2:打印字符串

 

案例3:打印字符串确定文件有多少行

 

2.2根据$n提取字段

案例1:提取ip地址

$n,代表提取第几列

#法一
[root@localhost ~]#ifconfig ens33|sed -n '2p'|awk '{print $2}'
192.168.130.10

  案例2:提取mac地址

[root@localhost ~]#ifconfig ens33|sed -n '4p' |awk '{print $2}'
00:0c:29:40:6d:34

 

2.3根据选项-F指定分隔符

案例1:打印/etc/passwd所有用户名

[root@localhost ~]#cat /etc/passwd|awk -F":" '{print $1}'
root
bin
daemon
adm
lp
sync
###########后面省略######

案例2:打印多列内容

打印时逗号可以表示空格,如果使用“:”或者“+”,需要将特殊符号加上双引号当成字符串打印

=[root@localhost ~]#cat /etc/passwd|awk -F":" '{print $1,$2}'
root x
bin x
daemon x
###########后面省略######
 
[root@localhost ~]#cat /etc/passwd|awk -F":" '{print $1":"$2}'
root:x
bin:x
daemon:x
adm:x
###########后面省略######
 
[root@localhost ~]#cat /etc/passwd|awk -F":" '{print $1"+"$2}'
root+x
bin+x
daemon+x
###########后面省略######

 

 

 案例3:打印磁盘已经使用情况,去除%

 

案例4:取出文本中的ip地址及时间

####文本内容####
[root@localhost opt]#vim test.txt 
 
58.87.87.99 - - [09/Jun/2020:03:42:43 +0800] "POST /wp-cron.php?
doing_wp_cron=1591645363.2316548824310302734375 HTTP/1.1" ""sendfileon
128.14.209.154 - - [09/Jun/2020:03:42:43 +0800] "GET / HTTP/1.1" ""sendfileon
64.90.40.100 - - [09/Jun/2020:03:43:11 +0800] "GET /wp-login.php HTTP/1.1"
""sendfileo
 
 
##提取
[root@localhost opt]#cat test.txt |sed '2d'|awk -F"[[ ]"  '{print $5"\t"$1}'
09/Jun/2020:03:42:43    58.87.87.99
09/Jun/2020:03:42:43    128.14.209.154
09/Jun/2020:03:43:11    64.90.40.100
    ""sendfileo
 

案例5:取出文本中的主机并放回

[root@localhost opt]#vim host.txt 
 
1 www.kgc.com
2 mail.kgc.com
3 ftp.kgc.com
4 linux.kgc.com
5 blog.kgc.com

2.4根据关键字提取所在行

案例1:提取/etc/passwd 以root开头的行

[root@localhost opt]#cat passwd |awk -F":" '/^root/{print}' 
root:x:0:0:root:/root:/bin/bash

 案例2:提取/etc/passwd root所在的行

 案例3:提取/etc/passwd nologin结尾的行

[root@localhost opt]#cat passwd |awk -F":" '/nologin$/{print}' 
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
###########后面省略######
 
##如果提取/sbin/nologin,则需要\转义/
[root@localhost opt]#cat passwd |awk -F":" '/\/sbin\/nologin$/{print}' 
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
###########后面省略######

 案例4:提取ip地址

2.5 使用BEGIN输出包含指定字符的行并统计有多行

  1. BEGIN模式表示,在处理指定的文本之前,需要先执行BEGIN模式中指定的动作;

  2. awk再处理指定的文本,之后再执行END模式中指定的动作;

  3. END{ } 语句块中,往往会放入打印结果等语句。

#先定义变量x,表示执行多少次
[root@localhost opt]#awk 'BEGIN {x=0};/\/bin\/bash$/;{x++};END{print x}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
xiin:x:1000:1000:xiin:/home/xiin:/bin/bash
zhangsan:x:1001:1001::/home/zhangsan:/bin/bash
lili:x:1002:1002::/home/lili:/bin/bash
43

 2.6 FS∶ 列分割符提取列

2.7NF∶

案例1:当前处理的行的字段个数

案例2:打印出每行最后一个字段

案例3:打印出每行倒数第二个字段

 

 

2.8 NR:

案例1: 当前处理的行的行号

#NR写在后面则在后面显示行号
[root@localhost opt]#awk  -F":" '{print $1,NR}' /etc/passwd
root 1
bin 2
daemon 3
adm 4
lp 5
sync 6
shutdown 7
halt 8
 
#可以用制表符
[root@localhost opt]#awk  -F":" '{print $1"\t"NR}' /etc/passwd
root    1
bin    2
daemon    3
adm    4
lp    5
 
#NR写在前面则在前面显示行号
[root@localhost opt]#awk  -F":" '{print NR"\t"$1}' /etc/passwd
1    root
2    bin
3    daemon
4    adm
5    lp

 案例2:NR==n代表行号等于什么

案例3:NR%2==0取偶数行

 案例4:NR%2==1取奇数行

案例5:NR==1,NR==4取区间行

 案例6:取UID数值范围$n>1000

#取uid大于1000的行
[root@localhost opt]#awk -F: '$3>1000 {print}' /etc/passwd
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
zhangsan:x:1001:1001::/home/zhangsan:/bin/bash
lili:x:1002:1002::/home/lili:/bin/bash
#取uid大于等于1000的行
[root@localhost opt]#awk -F: '$3>=1000 {print}' /etc/passwd
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
xiin:x:1000:1000:xiin:/home/xiin:/bin/bash
zhangsan:x:1001:1001::/home/zhangsan:/bin/bash
lili:x:1002:1002::/home/lili:/bin/bash

三、案例

1.统计/etc/fstab文件中每个文件系统类型出现的次数

[root@localhost opt]#cat /etc/fstab |awk '/[^#]/{print}'
# /etc/fstab
# Created by anaconda on Thu Jul 21 01:10:26 2022
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=48da5a46-43fc-4794-bd52-e7315a6721bd /boot                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0
[root@localhost opt]#cat /etc/fstab |awk '/^[^#]/{print}'|awk '{print $3}'|sort |uniq -c

     1 swap
      2 xfs

 2.提取主机名并放入原文件

[root@localhost opt]#vim text.txt
 
http://mail.kgc.com/index.html
http://www.kgc.com/test.html
http://study.kgc.com/index.html
http://blog.kgc.com/index.html
http://www.kgc.com/images/logo.jpg
http://blog.kgc.com/20080102.html
http://www.kgc.com/images/kgc.jpg
 
 
[root@localhost opt]#cat text.txt |awk -F"[. /]" '{print $3}' >>text.txt 
[root@localhost opt]#cat text.txt 
http://mail.kgc.com/index.html
http://www.kgc.com/test.html
http://study.kgc.com/index.html
http://blog.kgc.com/index.html
http://www.kgc.com/images/logo.jpg
http://blog.kgc.com/20080102.html
http://www.kgc.com/images/kgc.jpg
mail
www
study
blog
www
blog
www

3.统计/etc/fstab文件中每个单词出现的次数 

[root@localhost opt]#grep -Eo "\b[[:alpha:]]+\b" /etc/fstab |sort|uniq -c|sort
      1 Accessible
      1 anaconda
      1 and
      1 are
      1 blkid
      1 boot
      1 Created
      1 disk
      1 etc
      1 filesystems
      1 findfs
      1 for
      1 info
      1 Jul
      1 maintained
      1 man
      1 more
      1 mount
      1 on
      1 or
      1 pages
      1 reference
      1 root
      1 See
      1 Thu
      1 under
      1 UUID
      2 by
      2 centos
      2 fstab
      2 mapper
      2 xfs
      3 defaults
      3 dev
      3 swap

 

4.提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字

[root@localhost opt]#echo "Yd$C@M05MB%9&Bdh7dq+YVixp3vpw"|grep -E -o "[0-9]+"
05
9
7
3

Linux和Unix中Awk的Print用法详解 其中,print语句是Awk中常用的输出命令之一,可以用于打印文本文件中的特定字段、变量或计算结果。上述命令将按照指定的格式输出文件file.txt中的第一个字段和第二个字段。在格式字符串中,%s表示字符串,%d表示整数,并通过-10s指定字符串左对齐并占用10个字符的宽度。上述命令将将file.txt中的每一行输出到名为output.txt的文件中。在Awk中,省略print后面的表达式,将默认打印当前行的全部内容。通过使用双引号括起的字符串,可以在输出中添加固定的文本内容。例子3:打印变量和字符串。 阅读详情

相关推荐

Linux 中awk 提取包含某个关键字的段落

前提 AWK是一种处理文本文件的语言,是一个强大的文本分析工具。 本文将使用命令awk将具有某个关键字的段落提取出来。 准备数据 Finalizer #3 daemon prio=8 os_prio=0 tid=0x00007fb2dc1aa800 nid=0x63f6 in Object.wait() [0x00007fb2be61f000] java.lang.Thread.State: WAITING (on object monitor) at java.lang.Object.wait(Native Method) - waiting on <0x00000000d670

awk、print使用

代码】awk、print使用。

飞的博客 9971

TwinCAT3 实时核异步通信:基于ADS的C++ Server/Client数据交换实战解析

本文深入解析了在TwinCAT3实时核中,如何利用ADS协议实现C++ Server与Client之间的异步数据交换。文章从核心概念入手,详细阐述了实时核、ADS通信及异步机制,并通过实战步骤指导环境搭建、路由配置、Server端服务创建与Client端请求发起,重点剖析了Req/Ind/Res/Con异步回调模型,旨在帮助开发者构建高效、非阻塞的实时工业控制应用。

purple的博客 469

Shell脚本,awk编程语言,awk科普,awk语法,风格,awk的print功能,列数$num

Shell脚本,awk编程语言,awk科普,awk特点和作用 O、介绍awk 1、基于模式匹配检查输入文本,逐行处理并输出 2、通常用于在shell脚本中,获取指定的数据 3、单独使用时,可以对文本数据做统计 一、awk不同与sed和grep的地方 1、grep的作用是从文件中过滤并显示出指定内容的内容行。 2、sed除了可以从文件中过滤出指定内容的内容行,还能对文件的行数据进行非交互式编辑和其他操作。 3、awk用于对指定文件的数据进行分列,区别与以行作为数据单位,awk可以将内容按照规则分列,并对逐列的

ganfanren00001的博客 5351

Redhawk解析PAD / IOPAD的实现方法

Redhawk解析IOPAD的实现方法1. IOPAD DEF的概念说明2. 生成 IOPAD GDS文件3. 生成 IOPAD DEF文件4. Redhawk解析过程中读取IOPAD DEF 本文主要简述【Redhawk解析IOPAD】的实现原理方法,具体脚本没有放在这里。 1. IOPAD DEF的概念说明 2. 生成 IOPAD GDS文件 注: getinfo2IODEF.tcl 是基于innovus获取IOPAD的摆放信息以及库信息。 run_cerate_iopadgds.csh 是基于c

kobayashiyou的博客 3156

【SABRE 3D, SABRE 3DxT,LAM设备】2025年9月12日-生产期间维护用的双重隔离

生产期间维护用的双重隔离。该程序用于准备将一个或多个双工位设置为维护状态,同时SABRE 3D/3DxT/3D Scimitar保持生产运行。其目的是在不中断生产的情况下将双工位与运行中的设备隔离。

weixin_46735260的博客 575

Shell脚本文本三剑客之AWK

一、AWK工具介绍 AWK 是一种处理文本文件的语言,是一个强大的文本分析工具 可以在无交互的模式下实现复杂的文本操作 相较于sed常作用于一整个行的处理,awk则比较倾向于一行当中分成数个字段来处理,因为awk相当适合小型的文本数据。 1.1AWK命令的基本格式 awk [选项] ‘模式条件{操作}’ 文件1 文件2... awk -f|-v 脚本文件 文件1 文件..... 1.2AWK工作原理 前面提到sed命令常用于一整行的处理,而awk比较倾向于将

m0_51160032的博客 4555

金仓数据库KCM认证考试介绍【2025年4月更新】

金仓数据库认证资深专家KCM认证考试介绍

qq709869231的博客 3239

Shell 文本三剑客 awk

Shell 文本三剑客 awk

Drw_Dcm的博客 3073

Unity Hub报错The Hub as encountered a critical error and must close

如果注册表HKEY_LOCAL_MACHINE\SOFTWARE\Unity Technologies\这个目录下有Hub文件,直接删掉然后重装就可以。C:\Users\Administrator\AppData\Roaming\Unity 作者:SevenVee。HKEY_CURRENT_USER\Software\Unity 下所有项,尝试过,卸载重装,清除临时文件无果后,最终决定删除所有与Hub有关的文件。重装unity后可以打开了。结果:卸载重装后还是会出现此问题。结果:重装后还是无法解决。

qq_42345116的博客 3638

【异常】出现“‘git‘ 不是内部或外部命令,也不是可运行的程序”的错误

出现“‘git’ 不是内部或外部命令,也不是可运行的程序”的错误通常意味着 Git 没有被正确安装在你的系统上,或者其可执行文件的路径没有被添加到系统的环境变量中。

奶爸的编程之路,也就一周冷个三天 1392

【Shell】文本三剑客-awk

介绍文本三剑客之一的awk

weixin_68840588的博客 1268

《UDS协议从入门到精通》系列——图解0x23:通过地址读取内存

如何读取ECU中指定内存地址的数据?图解UDS 0x23服务带你快速上手!!

车载系统攻城狮 2625

shell编程之文本三剑客grep、sed、awk

Shell编程中的文本三剑客(grep、sed、awk)是Linux/Unix环境下最强大的文本处理工具组合,各自擅长不同的文本处理场景grep‌功能:文本过滤工具,主要用于搜索匹配特定模式的行应用场景:日志过滤、配置文件检查sed‌功能:流编辑器,擅长行级文本编辑工作流程:读取→执行→显示循环处理每行文本awk‌功能:文本分析工具,擅长列处理和格式化输出应用场景:数据统计、报表生成三者的典型配合:先用grep筛选目标行,再用sed进行编辑处理,最后用awk格式化输出和分析核心功能。

jeffry__jiang的博客 1918

C++软件异常分析概述

本文将详细讲述Windows系统中软件异常的分类以及常用的排查方法,给大家提供一个借鉴与参考。

dvlinker的技术专栏 4万+

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

shell文本三剑客 awk 和 grep

grep主要用于过滤文本,sed用于修改文本,而awk则擅长处理和格式化文本。

2401_83330816的博客 1005

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Shell三剑客---文本分析工具:awk

​ grep,sed,awk 是shell 编程中经常用到的文本处理工具(shell编程三剑客)。它们是一种编程语言,主要用来处理结构化的数据和生成格式化的报告。awk 可以在非交互的情况下完成相当复杂的文本处理操作。awk提供了极其强大的功能:它可以完成 grep和sed 所能完成的所有工作。

2303_77042379的博客 199

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

【Shell脚本】文本三剑客之awk

问渠那得清如许?为有源头活水来

F12138X的博客 1406

shell文本三剑客——awk命令【☆】

用FS="分隔符" 查看指定字段(FS是列分割符的意思,先指定为":"再去执行,效果与awk -F相同)awk -F: '$3

2401_83883919的博客 2042

shell的文本三剑客awk

文章目录awk的工作原理命令格式awk常见内建变量按字段输出文本 awk的工作原理 逐行读取文本,默认以空格或t.ab键为分隔符进行分隔,将分隔所得的各个字段保存到内建变量中,并按模式或者条件执行编辑命令 sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个"字段"然后再进行处理 awk信息的读入也是逐行读取的,执行结果可以通过print的功能将字段数据打印显示 在使用awk命令的过程中,可以使用逻辑操作符"&a”表示"与”、“II"表示"或”、"!“表示"非”;还可以进行简单的数学运算

weixin_55609821的博客 451

Shell脚本文本三剑客之awk

一、awk命令 – 文本和数据进行处理的编程语言 1.1 概述: AWK 是一种处理文本文件的语言,是一个强大的文本分析工具。 它是专门为文本处理设计的编程语言,也是行处理软件,通常用于扫描、过滤、统计汇总工作 数据可以来自标准输入也可以是管道或文件。 1.2 awk工具介绍 (1)功能强大的编辑工具 (2)无交互的情况下实现复杂的文本操作 1.3 命令格式 awk选项'模式或条件{操作}'文件1文件2 ... awk -f 脚本文件 文件1 文件2 .. 格式:awk关键字 选项 命令部.

weixin_67582338的博客 2058

shell——文本三剑客之awk

目录 一.awk工作原理 1.命令格式 2.awk常见的内建变量 二.awk按字段输出文本 1.awk初始用 2.打印文本内的所有内容 3.提取ip地址 1.sed和awk 2.awk(有搜索功能) 4.提取多种不同的分隔符 5. 提取IP地址和时间 6.提取主机名再放回源文件中 7.FS的使用 8.OFS的使用 9.NF的使用 10.BEGIN{ }模式 三.awk按行输出文本 1.提取连续行 2.提取不连续行 ​3.提取以xxx结尾的内容行 4.查看..

oyyy3的博客 511

shell脚本文本三剑客之awk

AWK工作原理sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个"字段"然后再进行处理,且默认情况下字段的分隔符为空格或tab键。awk 执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符"&&“表示"与”、"“表示"或”、"!“表示"非”;还可以进行简单的数学运算,如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

A_Xiao_CaiJI的博客 2146

Shell脚本之文本处理三剑客——awk

①awk是一种处理文本文件的语言,是一个强大的文本分析工具②可以在无交互的模式下实现复杂的文本操作③相较于sed常作用于一整个行的处理,awk则比较倾向于一行当中分成数个字段来处理,因为awk相当适合小型的文本数据。④之所以叫awk是因为创始人的名字首字母。

rmh0713的博客 1966

Shell 文本三剑客 (grep、sed、awk)

正则表达式又称正规表达式、常规表达式。在代码中常简写为 regex、regexp 或 RE。正则表达式是使用单个字符串来描述、匹配一系列符合某个句法规则的字符串,简单来说, 是一种匹配字符串的方法,通过一些特殊符号,实现快速查找、删除、替换某个特定字符串。正则表达式是:由普通字符与元字符组成的文字模式普通字符包括大小写字母、数字、标点符号及一些其他符号,元字符则是指那些在正则表达式中具有特殊意义的专用字符正则表达式一般用于脚本编程与文本编辑器中Linux三剑客(grep、sed、awk).........

z20021111的博客 1330

Linux Shell脚本文本三剑客之AWK

Linux Shell脚本文本三剑客之AWK 一、AWK AWK工具介绍 AWK 是一种处理文本文件的语言,是一个强大的文本分析工具 可以在无交互的模式下实现复杂的文本操作 相较于sed常作用于一整个行的处理,awk则比较倾向于一行当中分成数个字段来处理,因为awk相当适合小型的文本数据 AWK命令的基本格式 awk [选项] '模式条件{操作}' 文件1 文件2 awk -f | -v 脚本文件 文件1 文件... AWK工作原理 前面提到sed命令常用于一整行...

Dark_wWw的博客 840
上一篇: Shell文本三剑客之Sed
下一篇: Linux系统iptables防火墙SNAT与DNAT
Au杨
博客等级 码龄6年 37粉丝 82原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值