Day28 awk工具讲解

最新推荐文章于 2025-08-08 15:29:06 发布

转载最新推荐文章于 2025-08-08 15:29:06 发布 · 85 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/u/3707523/blog/1841180

文章标签：

#awk #python

本文详细介绍AWK命令的使用方法，包括基本语法、条件操作符、内置变量及数学运算等内容，并通过实际示例演示如何利用AWK进行数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

截取文档中的某个段

示例

[root@centos001 ~]# cd ..
[root@centos001 /]# mkdir awk
[root@centos001 /]# cp /etc/passwd awk/test.txt //创建一个文件
[root@centos001 /]# cd awk
[root@centos001 awk]# ls
passwd  test.txt
[root@centos001 awk]# awk -F ':' '{print $1}' test.txt 
root
bin
daemon

讲解

示例中，-F选项的作用是指定分隔符。如果不加则以空格或tab为分隔符
print：为打印的动作，且能打印自定义内容，但是需要用双引号括起来
$1，$2为字段，在需要使用多次的时候用逗号分隔
$0表示打印所有

匹配字符或者字符串

示例

[root@centos001 awk]# awk '/oo/' test.txt 
root:x:0:0:root:/root:/bin/bash
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
 。。。。。。。。。。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' '$1 ~ /oo/' test.txt 
root:x:0:0:root:/root:/bin/bas
 。。。。。。。。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' '$1 ~ /o+/' test.txt 
root:x:0:0:root:/root:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
operator:x:11:0:operator:/root:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
polkitd:x:998:996:User for polkitd:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
chrony:x:997:995::/var/lib/chrony:/sbin/nologin
 。。。。。。。。。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' '/root/ {print $1,$3} /user/ {print $1,$3,$4}' test.txt
root 0
operator 11
tss 59 59
user1 1000 1000
user2 1003 1003
user3 1004 1005
user4 1006 1005
user5 1007 1007
user6 1008 1010

讲解

第一段为匹配一个字符，但是会列出所有
第二段中，我们要求只匹配第一段内容 ,~波浪号是匹配的意思
第三段中我们能看出awk同样支持正则表达式，awk不用加脱义字符
第四段中，awk还能支持多次匹配，多个表达式一起写

条件操作符，数学运算表达式

示例

[root@centos001 awk]# awk -F ':' '$3==0' test.txt 
root:x:0:0:root:/root:/bin/bash
 1。。。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' '$3==0 {print $1}' test.txt 
root
2。。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' '$3>=1000 {print $1}' test.txt 
user1
aming
awei
user2
user3
user4
user5
user6
3。。。。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' '$3>=1000 {print $0}' test.txt 
user1:x:1000:1000::/home/user1:/bin/bash
aming:x:1001:1007::/home/aming:/bin/bash
awei:x:1002:1002::/home/awei:/bin/bash
user2:x:1003:1003::/home/user2:/bin/bash
user3:x:1004:1005::/home/user3:/bin/bash
user4:x:1006:1005::/home/aming/:/sbin/nologin
user5:x:1007:1007::/home/user5:/bin/bash
user6:x:1008:1010::/home/user6:/bin/bash
4。。。。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' '$3>="1000" {print $0}' test.txt 
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
5。。。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' '$7!="/sbin/nologin" {print $0}' test.txt 
root:x:0:0:root:/root:/bin/bash
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
user1:x:1000:1000::/home/user1:/bin/bash
6。。。。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' '$3<$4' test.txt 
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
aming:x:1001:1007::/home/aming:/bin/bash
user3:x:1004:1005::/home/user3:/bin/bash
user6:x:1008:1010::/home/user6:/bin/bash
 7.。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' '$3==$4' test.txt 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
8。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' '$3>"5" && $3<"7"' test.txt 
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
9.。。。。。。。。。。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' '$3>1000 || $7=="/sbin/nologin"' test.txt 
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
10.。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' '$3>1000 || $7 ~ /bash/' test.txt 
root:x:0:0:root:/root:/bin/bash
user1:x:1000:1000::/home/user1:/bin/bash
aming:x:1001:1007::/home/aming:/bin/bash
awei:x:1002:1002::/home/awei:/bin/bash

讲解

第一段，==表示精确匹配，单独的=表示赋值
第二段，指定行匹配
第三段，为大于一个数字
第四段，打印所有选项
第五段，加引号的时候会被认为是字符，不加是数字
第六段，不等号！
第七段，小于号
第八段，等于
第九段，&&并且的意思第十段，||或者的意思
最后一段，精准匹配

awk的内置变量

awk的常用变量有OFS、NF和NR，OFS和-F选项有类似功能，也是用来自定义分隔符的，但是它是在输出的时候定义，NF表示用分隔符后一共有多少段，NR表示行号
示例

[root@centos001 awk]# awk -F ':' '{OFS="#"} $3>1000 || $7 ~ /bash/ {print $1,$2,$7}' test.txt 
root#x#/bin/bash
user1#x#/bin/bash
aming#x#/bin/bash
1。。。。。。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' '{OFS="#"} {print $1,$2,$7}' test.txt 
root#x#/bin/bash
bin#x#/sbin/nologin
daemon#x#/sbin/nologin
2。。。。。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' '{OFS="#"} {if ($3>1000) {print $1,$2,$3,$4}}' test.txt 
aming#x#1001#1007
awei#x#1002#1002
user2#x#1003#1003
user3#x#1004#1005
user4#x#1006#1005
user5#x#1007#1007
user6#x#1008#1010
3.。。。。。。。。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' '{print NR ":"$0}' test.txt
1:root:x:0:0:root:/root:/bin/bash
2:bin:x:1:1:bin:/bin:/sbin/nologin
4。。。。。。。。。。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' 'NR <=10 && $1 ~ /root|sync/' test.txt 
root:x:0:0:root:/root:/bin/bash
sync:x:5:0:sync:/sbin:/bin/sync
5。。。。。。。。。。。。。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' 'NF==7 && $1 ~ /root|sync/' test.txt 
root:x:0:0:root:/root:/bin/bash
6.。。。。。。。。。。。。。。。。
[root@centos001 awk]# awk -F ':' '{print $NR":"$NF}' test.txt 
root:/bin/bash
x:/sbin/nologin
2:/sbin/nologin
4:/sbin/nologin
7.。。。。。。。。。。。。。。
[root@centos001 awk]# head -n 3 test.txt |awk -F ':' '{OFS=":"} $1="root"'
root:x:0:0:root:/root:/bin/bash
root:x:1:1:bin:/bin:/sbin/nologin
root:x:2:2:daemon:/sbin:/sbin/nologin

解释

1.OFS
2.不加定义的时候会打印全部
3.增加条件判断
4.NR，打有多少行 5.NR作为判断条件，且能配合段匹配一起使用
6.NF选项
7.赋值后分隔符会没有所以需要定义一下

数学运算求和

示例

[root@centos001 awk]# awk -F ':' '{(tot=tot+$3)}; END {print tot}' test.txt 
11692

扩展

http://www.apelearn.com/study_v2/chapter14.html

转载于:https://my.oschina.net/u/3707523/blog/1841180