网络三剑客之awk

最新推荐文章于 2023-05-24 12:33:29 发布
原创 最新推荐文章于 2023-05-24 12:33:29 发布 · 364 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #运维

文章目录

引言

一、概述

  • AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。
  • 它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作
  • 数据可以来自标准输入也可以是管道或文件
  • 20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk。

之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

二、awk工作原理

  • 逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
  • sed命令常用于一整行的处理，而awk比较、倾向于将一行分成多个""字段"然后再进行处理。
  • awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。
  • 在使用awk命令的过程中,可以使用逻辑操作符"
    &&“表示"与”、“||表示"或”、"!“表示非”;还可以进行简单的数学运算，如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。

命令格式

awk 选项 '模式或条件 {编辑指令}' 文件 1 文件 2 …
awk -f 脚本文件 文件 1 文件 2 …
格式：awk关键字    选项      命令部分  '{xxxx}'   文件名

三、常见的内建变量

参数含义
FS指定每行文本的字段分隔符，默认为空格或制表位
NF当前处理的行的字段个数
NR当前处理的行的行号（序数）
$0当前处理的行的整行内容
$n当前处理行的第 n 个字段（第 n 列）
FILENAME被处理的文件名
RS行分隔符

awk从文件上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录，以进行处理。预设值是’\n’
简说：数据记录分隔，默认为\n,即每行为一条记录。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

四、awk常用内置变量

命令含义
$1代表第一列
$2代表第二列以此类推
$0代表整行
NF一行的列数
NR行数

1.打印包含root的整行内容

在这里插入图片描述

2.打印包含root的行的第一列和第六列

在这里插入图片描述

3.显示root那一行的总列数

在这里插入图片描述

4.以：/为分割，打印包含root的行数

在这里插入图片描述

5.打印总行数

在这里插入图片描述

6.显示行号和每行的内容

在这里插入图片描述

7 打印有几行几列

在这里插入图片描述

8.查看本机ip、字节数、内存

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

9.打印文件最后一行

在这里插入图片描述

10.打印第二行

awk  'NR==2' /etc/passwd
awk  'NR==2{print}' /etc/passwd
两种是一样的效果，不加print也一样，默认就是打印

在这里插入图片描述

  • 逐行执行开始之前执行什么任务，结束之后再执行什么任务，用BEGIN、END
  • BEGIN一般用来做初始化操作，仅在读取数据记录之前执行一次
  • END一般用来做汇总操作，仅在读取完数据记录之后执行一次

五、awk的运算

1.案例：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.模糊匹配

用~表示包含，!~表示不包含

在这里插入图片描述
在这里插入图片描述

3.数值与字符串的比较

比较符号：==      !=       <=       >=    <     >

（1）打印第五行内容

在这里插入图片描述
在这里插入图片描述

（2）打印行数 小于5行的内容

在这里插入图片描述

（3）打印出第三列等于0的行

在这里插入图片描述

（4）精确匹配一定是root的行

在这里插入图片描述

（5）打印出第三列大于等于1000的行

4.逻辑运算 && ||

（1）满足第3列小于10 或大于等于1000的行

在这里插入图片描述

（2）查看第三列大于10且小于等于1000的行

在这里插入图片描述

（3）打印出行号大于4且小于12的行

在这里插入图片描述

（4）打印出1~200之间所有能被7整除并且包含数字7的整数数字

在这里插入图片描述

六、其他内置变量

变量名含义
FS输入字段的分隔符 默认是空格
OFS输出字段的分隔符 默认也是空格
FNR读取文件的记录数（行号），从1开始，新的文件重新重1开始计数
RS输入行分隔符 默认为换行符
ORS输出行分隔符 默认也是为换行符

1.在打印之前定义字段分隔符为冒号

在这里插入图片描述

2.OFS定义了输出时以什么分隔

在这里插入图片描述

3.FNR的行号在追加当有多个文件时

[root@localhost ~]# awk '{print FNR,$0}' /etc/resolv.conf /etc/hosts   //可以看出FNR的行号在追加当有多个文件时
1 
2 nameserver 114.114.114.114
3 search localdomain
1 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
2 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
[root@localhost ~]# awk '{print NR,$0}' /etc/resolv.conf /etc/hosts
1 
2 nameserver 114.114.114.114
3 search localdomain
4 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
5 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

在这里插入图片描述

4.RS:指定以什么为换行符，这里指定是冒号，你指定的肯定是原文里存在的字符

在这里插入图片描述

5.把多行合并成一行输出

在这里插入图片描述

1.awk高级用法

（1）定义引用变量

[root@localhost ~]# a=100
[root@localhost ~]# awk -v b="$a" 'BEGIN{print b}'    //将系统的变量a，在awk里赋值为变量b，然后调用变量b
100
[root@localhost ~]# awk 'BEGIN{print "'$a'"}'   //直接调用的话需要先用双引号再用单引号
100

在这里插入图片描述

（2）调用函数getline，读取一行数据的时候并不是得到当前行而是当前行的下一行

在这里插入图片描述

（3）显示奇偶数行

在这里插入图片描述

七、if语句：awk的if语句也分为单分支、双分支和多分支

单分支为if(){}
双分支为if(){}else{}
多分支为if(){}else if(){}else{}

[root@localhost ~]# awk -F: '{if($3<10){print $0}}' /etc/passwd    //第三列小于10的打印整行
[root@localhost ~]# awk -F: '{if($3<10){print $3}else{print $1}}' /etc/passwd    //第三列小于10的打印第三列，否则打印第一列

在这里插入图片描述
在这里插入图片描述

八、总结

以上就是awk全部内容啦，我们下次再见啦

烟花雨..
关注
【linux】Shell脚本三剑客之awk命令的详细用法攻略
景天科技苑
07-24 1万+
在Linux和Unix系统中，awk是一种强大的文本处理工具，广泛应用于数据提取、分析和报告生成。它基于模式匹配和条件执行，能够逐行读取输入文本文件，并对每行数据执行指定的操作。本教程将详细介绍`awk`在shell脚本中的用法，包括其基本语法、常用选项、内置变量、高级特性以及结合shell脚本的实际案例。
文本三剑客之awk
yonggeit的博客
05-27 1551
awk 介绍 awk Aho Weinberger Kernighan 报告生成器格式化文本输出 有多种版本New awk nawk GNU awk gawk gawk 模式扫描和处理语言 基本用法 选项 基本格式awk options program file pattern 和action pattern 部分决定动作语句何时触发及触发事件 action statements 对数据进行处理
网络三剑客
10-16
网络三剑客 一定需要~ 网络 三件 安装 下载
网络&&awk
qq_36837609的博客
01-12 471
一、三次握手 SYN=1，seq=x；请求建立链接,并将数据包x传送过去 SYN=1，ACK=1,seq=y,ack=x+1; 同意建立链接，以上字段有效，发送数据包y，收到数据包x，期望发送x+1； ACK=1，seq=x+1,ack=y+1;以上字段有效，发送数据包x+1，收到数据包y，期望收到数据包y+1； 二、四次挥手 1.FIN=1，seq=x； 我这边数据发送完毕，期望分手，数据包...
awk用法之网络连接状态分类汇总:netstat & | & awk
weixin_33798152的博客
03-26 219
netstat -n | awk '/^tcp/ {++state[$NF]} END {for(key in state) print key,"\t",state[key]}' 会得到类似下面的结果，具体数字会有所不同： LAST_ACK 1 SYN_RECV 14 ESTABLISHED 79 FIN_WAIT1 28 FIN_WAIT2 3 CLO...
[Linux教程]Linux 三剑客之 awk 实战详解
kali_Ma的博客
06-17 896
前言 我们知道 Linux 三剑客，它们分别是： grep 、 sed 、 awk 。 sed可以实现非交互式的字符串替换， grep 能够实现有效的过滤功能。与两者相比， awk 是一款强大的文本分析工具，在对数据分析并生成报告时，显得尤为强悍。 awk 强大的功能，是一般 Linux 命令无法比拟的。在本文中，我不会告诉你 awk 也是一种编程语言，免得会吓到你。我们只需把它当做 Linux 下一款强大的文本分析工具即可。 场景 学习具体使用前，先来看下 awk 能干些什么事情： 能够将给定的文本内
Linux 练习 - 文本处理三剑客之AWK
东方隐
06-30 583
1、文件 ip_list.txt 如下格式，请提取 ”.solin.com” 前面的主机名部分并写入到回到该文件中 1 blog.solin.com 2 www.solin.com … 999 study.solin.com [root@centos7 ~]# awk -F "[ .]" '{print $2}' ip_list.txt >> ip_list.txt 2、统计 /etc/fstab 文件中每个文件系统类型出现的次数 [root@centos7 ~]# awk '/^UUID/{
Linux 三剑客之 awk 实战详解教程
03-15 638
我们知道 Linux 三剑客，它们分别是：grep、sed、awk。在前边已经讲过 grep 和 sed，没看过的同学可以直接点击阅读，今天要分享的是更为强大的 awk。 sed 可以实现非交互式的字符串替换，grep 能够实现有效的过滤功能。与两者相比，awk 是一款强大的文本分析工具，在对数据分析并生成报告时，显得尤为强悍。 awk 强大的功能，是一般 Linux 命令无法比拟的。在本文中，我不会告诉你 awk 也是一种编程语言，免得会吓到你。我们只需把它当做 Linux 下一款强大的文本分析工具即可
awk命令
Simon的博客
07-17 375
http://man.linuxde.net/awk 这个网址实在讲的挺详细了，不赘述了
shell中awk命令的if条件语句引入外置变量
D的博客
08-02 1997
shell脚本中常常用到awk的按列筛选功能，但是外部变量不能直接在awk中引用。正确引入方式是‘“$a”’即外部是一个单引号，内部是一个双引号。对于数字文本可以使用==>=
awk中if判断变量和字符串是否相等
qq_39590773的博客
10-19 9217
if $4 =="P"{ n_P=n_P+1; print $2 > t_dis.txt } else if($4 =="S"){ n_P=n_P+1; print $2 > t_dis.txt } if的判断条件根本没有执行，可能是因为，文件的格式没有完全一致，导致$4的格式与P只有部分符号，此时就可以利用不完全匹配法来判断变量和字符串是否相同。 if $4 ~"P"{ n_P=n_P+1; print $...
28.文本处理三剑客grep，sed，awk
zcffight的博客
08-26 908
三剑客的功能非常强大，但我们只需要掌握他们分别擅长的领域即可：grep擅长查找功能，sed擅长取行和替换，awk擅长取列。目录一、grep二、sedsed选项sed内置常用命令字符sed匹配范围例子：测试文件sed 增加 c a i sed替换 s练习：三、awkawk内置变量 一次性输出多列：自定义输出内容：显示文件第五行：显示文件2-5行给每一行的内容添加行号显示文件3-5行输出行号：显示文件的第一列，倒数第二和最后一列：awk分隔符FS输入分隔符awk模式匹配--正则匹配特殊模式BEGIN{}和EN
awk入门指南
小识的博客
07-05 641
awk的工作模式 awk是一个文本处理工具，通常用于处理数据并生成结果报告 语法格式 第一种形式 awk 'BEGIN{}pattern{commands}END{}' file_name 语法格式 解释 BEGIN 正式处理数据之前 pattern 匹配模式 {commands} 匹配命令，可能多行 END 处理完所有匹配数据后执行 第二种形式 standard...
AWK基本命令
FRESHET的专栏
04-30 627
awk基本命令 1.awk '{print $1}' /etc/fstab 默认以空格为分割符的第一个字段打印出来，空格不算 2.awk '{print $1 "\t " $3}' /etc/fstab 打印两个字段， lu@lu-VirtualBox:~$ awk '{print $1 "\t " $3}' /etc/fstab # static # # 'blk...
Linux三剑客之 awk 的基本用法
qq_41461323的博客
02-27 649
前言 在Linux中，awk是一个非常重要的、更是强大的文本处理工具 学会awk将会使你的工作变得更加的轻松，当然最重要的是…高大上啊，咳咳 好，废话不多说，进入正题了 正文 首先记住几个特殊变量 NR：这个变量可以用来表示行号 NF：这个变量可以用来表示列号 $1 : 表示当前记录的第一列的文本内容 $2 ：表示当前记录的第二列的文本内容 然后再记住几个重要的参数 sort ...
AWK的简介和教程
lhq1363511234的博客
05-24 1332
AWK是一种强大的文本处理工具，它可以用简单的编程语言来实现复杂的文本操作。AWK是由Aho、Weinberger和Kernighan三位大牛在1977年开发的，因此也叫做AWK语言。AWK的名字来源于它们的姓氏首字母。AWK的基本思想是将输入文件分割成多个记录和字段，然后对每个记录执行一系列的模式和动作。模式是一种条件表达式，用来匹配记录或字段。动作是一段AWK代码，用来处理匹配的记录或字段。AWK有很多实现版本，其中最常用的是GNU AWK（gawk），它是GNU项目的一部分，拥有很多扩展功能。
awk if 使用方法
热门推荐
uxff的专栏
07-31 5万+
awk if 使用方法 例如筛选tcp中接受或发送的有堆积的链接情况： $ netstat -tanp | awk '{if ($2 &amp;gt; 0 || $3 &amp;gt; 0) print $0}' Active Internet connections (servers and established) Proto Recv-Q Send-Q Local Address ...
linux三剑客是什么
最新发布
03-27
Linux三剑客是指 `grep`、`sed` 和 `awk` 这三种强大的文本处理工具。这三种工具在日常的Linux操作中被广泛用于数据提取、过滤和分析。 #### grep `grep` 是一种基于正则表达式的文本搜索工具，它能够查找文件中的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值