shell中的文本处理正则表达式(grep+sed+awk)

最新推荐文章于 2022-04-18 22:21:21 发布
原创 最新推荐文章于 2022-04-18 22:21:21 发布 · 404 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#shell中的文本处理正则表达式(grep+sed+awk)

本文详细介绍了如何使用shell中的grep、sed和awk进行文本处理。从grep的基础用法如过滤、扩展模式、忽略大小写到sed的行编辑操作如删除、替换、插入，再到awk的字段处理和条件判断，通过实例展示了这些工具的强大功能。通过学习，读者可以掌握在Linux环境中高效处理文本的技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

grep文本过滤命令

grep用于shell脚本时，如果模板搜索成功返回0，不成功返回1，搜索文件不存在返回2

名称方法
搜索file中的xxxgrep  xxx  file
只输出匹配行的计数grep -c  xxx  file
不区分大 小写(只适用于单字符)grep -i  xxx  file
查询多文件时不显示文件名grep -h  xxx  file
查询多文件时只输出包含匹配字符的文件名grep -I  xxx  file
显示匹配行及行号grep -n  xxx  file
不显示不存在或无匹配文本的错误信息grep -s  xxx  file
显示不包含匹配文本的所有行grep -v  xxx  file

##过滤passwd中的root——grep root passwd
[root@shell_grep mnt]# cp -p /etc/passwd .
cp: overwrite ‘./passwd’? n
[root@shell_grep mnt]# grep root passwd
root❌0:0:root:/root:/bin/bash
operator❌11:0:operator:/root:/sbin/nologin
root ROOT njvlksdvmROOT SKDVMS root
ROOT SDKLJNVCS root
ROOT root sdvkn ROOT root
在这里插入图片描述
搜索全文中的root,grep属于贪婪模式的搜索和匹配，只要行中有root出现，它就会打印匹配的行，除非指定什么开头，什么结尾

##-E，grep的扩展模式：可以一次性加两个条件——grep -E
[root@shell_grep mnt]# grep -E “root|ROOT” passwd
root❌0:0:root:/root:/bin/bash
operator❌11:0:operator:/root:/sbin/nologin
root ROOT njvlksdvmROOT SKDVMS root
ROOT SDKLJNVCS root
ROOT root sdvkn ROOT root
在这里插入图片描述

##忽略大小写过滤——grep -i
[root@shell_grep mnt]# grep -i root passwd
root❌0:0:root:/root:/bin/bash
operator❌11:0:operator:/root:/sbin/nologin
root ROOT njvlksdvmROOT SKDVMS root
ROOT SDKLJNVCS root
ROOT root sdvkn ROOT root
在这里插入图片描述
##过滤出以root开头的行——grep ^xxx
[root@shell_grep mnt]# grep ^root passwd
root❌0:0:root:/root:/bin/bash
root ROOT njvlksdvmROOT SKDVMS root
在这里插入图片描述
##过滤出以root结尾的行——grep xxx$
[root@shell_grep mnt]# grep root$ passwd
root ROOT njvlksdvmROOT SKDVMS root
ROOT SDKLJNVCS root
ROOT root sdvkn ROOT root
在这里插入图片描述

##过滤出以root开头和结尾的——grep -E “^xxx|xxx$“

[root@shell_grep mnt]# grep -E “^root|root$” passwd
root❌0:0:root:/root:/bin/bash
root ROOT njvlksdvmROOT SKDVMS root
ROOT SDKLJNVCS root
ROOT root sdvkn ROOT root
在这里插入图片描述
##-v表示取反——过滤出不以root开头和结尾的

[root@shell_grep mnt]# grep -Ev “^root|root$” passwd
bin❌1:1:bin:/bin:/sbin/nologin
daemon❌2:2:daemon:/sbin:/sbin/nologin
adm❌3:4:adm:/var/adm:/sbin/nologin
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin
sync❌5:0:sync:/sbin:/bin/sync
省略
在这里插入图片描述

##过滤出root居中的
[root@shell_grep mnt]# grep -Evi “^root|root$” passwd | grep root

[root@shell_grep mnt]# grep -Evi “^root|root$” passwd | grep root
operator❌11:0:operator:/root:/sbin/nologin
在这里插入图片描述

##过滤出以root开头和结尾的，且排序
[root@shell_grep mnt]# grep -Ein “^root|rootKaTeX parse error: Expected 'EOF', got '#' at position 158: …shell_grep mnt]#̲ grep -Ein "^ro…” passwd
1:root❌0:0:root:/root:/bin/bash
40:root ROOT njvlksdvmROOT SKDVMS root
41:ROOT SDKLJNVCS root
42:ROOT root sdvkn ROOT root

在这里插入图片描述
##过滤出ROOT所在行及其前一行

[root@shell_grep mnt]# grep root passwd -B 1
root:x:0:0:root:/root:/bin/bash
--
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
--
tcpdump:x:72:72::/:/sbin/nologin
root ROOT njvlksdvmROOT SKDVMS  root
ROOT SDKLJNVCS root
ROOT root sdvkn ROOT root

在这里插入图片描述

##过滤出ROOT所在行及其后一行

[root@shell_grep mnt]# grep root passwd -A 1
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
--
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
--
root ROOT njvlksdvmROOT SKDVMS  root
ROOT SDKLJNVCS root
ROOT root sdvkn ROOT root

在这里插入图片描述
##过滤出ROOT所在行及其前后2行

[root@shell_grep mnt]# grep root passwd -2
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
--
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
--
gnome-initial-setup:x:993:991::/run/gnome-initial-setup/:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
root ROOT njvlksdvmROOT SKDVMS  root
ROOT SDKLJNVCS root
ROOT root sdvkn ROOT root

在这里插入图片描述

grep中的正则表达式

名称方法
忽略正则表达式中特殊字符的原有含义\
匹配正则表达式的开始行^
匹配正则表达式的结束行$
从匹配正则表达 式的行开始\<
到匹配正则表达式的行结束>\
单个字符，如[A]即A符合要求[ ]
范围，如[A-Z]，即A、B、C一直到Z都符合要求[ - ]
所有的单个字符?：
有字符，长度可以为0*：

##正则表达式的表现形式

匹配x后面只要大于等于有两位字符的 	   	grep -E "x.." file 
匹配x后面只有两位的  					grep -E "x..\>" file 
匹配x后面仅有两位的,前面没有后面也没有  	grep -E "\<x..\>" file  
匹配y前面只要大于等于有两位字符的	    grep -E "..y" file   
匹配y前面只有两位字符的				grep -E "\<..y" file

##匹配x后面只要大于等于有两位字符的——grep -E “x…” file
[root@shell_grep mnt]# vim file
[root@shell_grep mnt]# cat file
x
xxy
xxxy
xxxxy
xxxxxy
xxxxxxy
[root@shell_grep mnt]# grep -E “x…” file
xxy
xxxy
xxxxy
xxxxxy
xxxxxxy
在这里插入图片描述
##匹配x后面只有两位的——grep -E “x…>” file
[root@shell_grep mnt]# grep -E “x…>” file
xxy
xxxy
xxxxy
xxxxxy
xxxxxxy
在这里插入图片描述

##匹配x后面仅有两位的,前面没有后面也没有——grep -E “<x…>” file
[root@shell_grep mnt]# grep -E “<x…>” file
xxy
在这里插入图片描述

##匹配y前面只要大于等于有两位字符的——grep -E “…y” file
[root@shell_grep mnt]# grep -E “…y” file
xxy
xxxy
xxxxy
xxxxxy
xxxxxxy
在这里插入图片描述

##匹配y前面只有两位字符的——grep -E “<…y” file
[root@shell_grep mnt]# grep -E “<…y” file
xxy
在这里插入图片描述

##grep中字符的匹配次数设定

字符出现0-任意次							*  
字符出现0-1次								？
字符出现1-任意次							+
字符出现n次								{n}
最少出现m次,最多出现n次					{m,n}	
字符出现0-n次								{0,n}
字符出现至少 m 次							{m,}
关键字出现 n 次							(xy){n}xy 
关键字之间匹配任意字符 					.*

##x出现0到任意次
[root@shell_grep mnt]# grep -E x*y file
xxy
xxxy
xxxxy
xxxxxy
xxxxxxy
在这里插入图片描述
##x出现0到1次
[root@shell_grep mnt]# grep -E x?y file
xxy
xxxy
xxxxy
xxxxxy
xxxxxxy
在这里插入图片描述

##x出现1到任意次且后面有y
[root@shell_grep mnt]# grep -E x+y file
xxy
xxxy
xxxxy
xxxxxy
xxxxxxy
在这里插入图片描述

##x开头y 出现一次的字符
[root@shell_grep mnt]# grep -E “<x{1}y” file
xy
xyxyxyxy
在这里插入图片描述
##x开头y结尾 出现一次的字符
[root@shell_grep mnt]# grep -E “<x{1}y>” file
xy
在这里插入图片描述

##x开头，y结尾 x最多出现两次的
[root@shell_grep mnt]# grep -E “<x{,2}y>” file
y
xy
xxy
在这里插入图片描述

##x开头，y结尾 x至少出现两次的
[root@shell_grep mnt]# grep -E “<x{2,}y>” file
xxy
xxxy
xxxxy
xxxxxy
xxxxxxy
在这里插入图片描述

sed行编辑器（以行为单位）

##什么是sed

  SED是一项Linux指令，功能同awk类似，差别在于，sed简单，对列处理的功能要差一些，awk的功能复杂，对列处理的功能比较强，sed用来操作纯 ASCII 码的文本 处理时 , 把当前处理的行存储在临时缓冲区中 ， 称为“模式空间” (pattern space) ，可以指定仅仅处理哪些行 sed 符合模式条件的处理，不符合条件的不予处理，处理完成之后把缓冲区的内容送往屏幕接着处理下一行 ,这样不断重复 , 直到文件末尾，原来的内容是在磁盘当中放着，现在用sed命令处理的时候将内容掉入内存的一个地方用户处理，这个处理空间也叫模式空间。

##sed对字符的处理

名称方法
显示p
删除d
添加a
替换c
写入w
插入i

##p 模式操作——按照要求显示行

sed -n '/\:/p' fstab	##显示有：的行的内容
sed -n '/UUID$/P' fstab ##显示UUID结尾的行的内容
sed -n '/^UUID/P' fstab ##显示UUID开头的行的内容
sed -n '2,6p' fstab 	##显示第二行到第六行的内容
sed -n '2,6!p' fstab 	##显示除了2-6行都显示

## 移动挂载文件夹
[root@grep_sed mnt]# cp -p /etc/fstab .
##编辑该文件
[root@grep_sed mnt]# vim fstab 
##查看文件内容
[root@grep_sed mnt]# cat fstab 

#
# /etc/fstab
# Created by anaconda on Wed May  7 01:22:57 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
GVBHJNKMLUUID

##显示有：的行的内容
[root@grep_sed mnt]# sed -n '/:/p' fstab 
# Created by anaconda on Wed May  7 01:22:57 2014
##显示UUID结尾的行的内容
[root@grep_sed mnt]# sed -n '/UUID$/p' fstab 
GVBHJNKMLUUID
##显示UUID开头的行的内容
[root@grep_sed mnt]# sed -n '/^UUID/p' fstab 
UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
##显示第二行到第六行的内容
[root@grep_sed mnt]# sed -n '2,6p' fstab 
#
# /etc/fstab
# Created by anaconda on Wed May  7 01:22:57 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
##显示除了2-6行都显示
[root@grep_sed mnt]# sed -n '2,6!p' fstab 

# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
GVBHJNKMLUUID

在这里插入图片描述

##d 模式操作——按照要求删除行

sed '/^UUID/d' /etc/fstab  ##删除UUID开头的行的内容
sed '/^#/d' /etc/fstab	   ##删除#开头的行的内容
sed '/^$/d' /etc/fstab	   ##删除空行
sed '1,4d' /etc/fstab 	   ##删除1-4行的内容
sed '/^UUID/!d' /etc/fstab ##删除除UUID开头外的行的内容

##删除UUID开头的行的内容
root@grep_sed mnt]# sed '/^UUID/d' fstab

#
# /etc/fstab
# Created by anaconda on Wed May  7 01:22:57 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
GVBHJNKMLUUID
##删除#开头的行的内容
[root@grep_sed mnt]# sed '/^#/d' fstab

UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
GVBHJNKMLUUID
##删除空行
[root@grep_sed mnt]# sed '/^$/d' fstab
#
# /etc/fstab
# Created by anaconda on Wed May  7 01:22:57 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
GVBHJNKMLUUID
##删除1-4行的内容
[root@grep_sed mnt]# sed '/1,4/d' fstab

#
# /etc/fstab
# Created by anaconda on Wed May  7 01:22:57 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
GVBHJNKMLUUID
##删除除UUID开头外的行的内容
[root@grep_sed mnt]# sed '/^UUID/!d' fstab
UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1

在这里插入图片描述

##.a模式操作——按照要求添加

sed '/^UUID/ahello linux' fstab 	##在UUID开头的行的后添加‘hello linux’
sed '/^UUID/ahello\nlinux' fstab 	##在UUID开头的行的后面添加‘hello\nlinux’

##在UUID开头的行的后添加‘hello linux’
[root@grep_sed mnt]# sed '/^UUID/a hello linux' fstab 

#
# /etc/fstab
# Created by anaconda on Wed May  7 01:22:57 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
hello linux
GVBHJNKMLUUID
##在UUID开头的行的后面添加‘hello换行加linux’
[root@grep_sed mnt]# sed '/^UUID/a hello\n linux' fstab 

#
# /etc/fstab
# Created by anaconda on Wed May  7 01:22:57 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
hello
 linux
GVBHJNKMLUUID

在这里插入图片描述

##c 模式操作——按照要求改变行

sed '/^#/chello\nlinux' fstab		##将#开头的行的内容用‘hello\nlinux’替换

##将#开头的行的内容用‘hello\nlinux’替换
[root@grep_sed mnt]# sed '/^#/ c hello \n linux' fstab 

hello 
 linux
hello 
 linux
hello 
 linux
hello 
 linux
hello 
 linux
hello 
 linux
hello 
 linux
UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
GVBHJNKMLUUID

在这里插入图片描述

##w 模式操作——按照要求写入行

sed '/^#/w /mnt/testfile' fstab		##将fstab中以#为开头的行整合到/mnt/testfile中
sed -n '/^#/w /mnt/testfile' fstab	##不显示
sed '6r/mnt/linux' fstab		##将/mnt/linux中的所有内容整合到fstab的第六行中

####将fstab中以#为开头的行整合到testfile中
[root@grep_sed mnt]# sed '/^#/w textfile' fstab 

#
# /etc/fstab
# Created by anaconda on Wed May  7 01:22:57 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
GVBHJNKMLUUID
##查看有什么文件
[root@grep_sed mnt]# ls
file   file1.rej  file.path  hosts  passwd
file1  file.orig  fstab      num    textfile
##查看 textfile 的内容
[root@grep_sed mnt]# cat textfile 
#
# /etc/fstab
# Created by anaconda on Wed May  7 01:22:57 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
##将/mnt/linux中的所有内容整合到fstab的第六行中
[root@grep_sed mnt]# sed '6rpasswd' fstab 

#
# /etc/fstab
# Created by anaconda on Wed May  7 01:22:57 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
gdm:x:42:42::/var/lib/gdm:/sbin/nologin
gnome-initial-setup:x:993:991::/run/gnome-initial-setup/:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
GVBHJNKMLUUID

在这里插入图片描述

##i 模式操作——插入

sed '/^UUID/ihello\nlinux' fstab	##在UUID开头的行的前面添加‘hello\nlinux’

[root@grep_sed mnt]# sed '/^UUID/ihello\nlinux' fstab

#
# /etc/fstab
# Created by anaconda on Wed May  7 01:22:57 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
hello
linux
UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
GVBHJNKMLUUID

在这里插入图片描述

##sed的其他用法
（1）显示UUID开头的行是第几行——sed -n ‘/^UUID/=’ fstab
[root@grep_sed mnt]# sed -n ‘/^UUID/=’ fstab
9
在这里插入图片描述
（2）显示UUID开头的行并标号——sed -n -e ‘/^UUID/p’ -e ‘/^ UUID/=’ fstab
[root@grep_sed mnt]# sed -n -e ‘/^UUID/p’ -e ‘/^UUID/=’ fstab
UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 / xfs defaults 1 1
9
在这里插入图片描述
（3）将所有的：转化为@@—— sed ‘s/?@@/g’ passwd
[root@grep_sed mnt]# sed ‘s/?@@/g’ passwd
root@@x@@0@@0@@root@@/root@@/bin/bash
bin@@x@@1@@1@@bin@@/bin@@/sbin/nologin
daemon@@x@@2@@2@@daemon@@/sbin@@/sbin/nologin
adm@@x@@3@@4@@adm@@/var/adm@@/sbin/nologin
lp@@x@@4@@7@@lp@@/var/spool/lpd@@/sbin/nologin
sync@@x@@5@@0@@sync@@/sbin@@/bin/sync
shutdown@@x@@6@@0@@shutdown@@/sbin@@/sbin/shutdown
halt@@x@@7@@0@@halt@@/sbin@@/sbin/halt
mail@@x@@8@@12@@mail@@/var/spool/mail@@/sbin/nologin
gdm@@x@@42@@42@@@@/var/lib/gdm@@/sbin/nologin
gnome-initial-setup@@x@@993@@991@@@@/run/gnome-initial-setup/@@/sbin/nologin
tcpdump@@x@@72@@72@@@@/@@/sbin/nologin
在这里插入图片描述

（4）将1-3行的：转化为@@—— sed ‘s/?@@/g’ passwd
[root@grep_sed mnt]# sed ‘1,3s/?@@/g’ passwd
root@@x@@0@@0@@root@@/root@@/bin/bash
bin@@x@@1@@1@@bin@@/bin@@/sbin/nologin
daemon@@x@@2@@2@@daemon@@/sbin@@/sbin/nologin
adm❌3:4:adm:/var/adm:/sbin/nologin
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin
sync❌5:0:sync:/sbin:/bin/sync
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown
halt❌7:0:halt:/sbin:/sbin/halt
mail❌8:12:mail:/var/spool/mail:/sbin/nologin
gdm❌42:42::/var/lib/gdm:/sbin/nologin
gnome-initial-setup❌993:991::/run/gnome-initial-setup/:/sbin/nologin
tcpdump❌72:72:?:/sbin/nologin
在这里插入图片描述

（5）以adm开头的行到shut开头的行中：转化为@@——sed ‘/adm/,/shut/s/?@@/g’ passwd
[root@grep_sed mnt]# sed ‘/adm/,/shut/s/?@@/g’ passwd
root❌0:0:root:/root:/bin/bash
bin❌1:1:bin:/bin:/sbin/nologin
daemon❌2:2:daemon:/sbin:/sbin/nologin
adm@@x@@3@@4@@adm@@/var/adm@@/sbin/nologin
lp@@x@@4@@7@@lp@@/var/spool/lpd@@/sbin/nologin
sync@@x@@5@@0@@sync@@/sbin@@/bin/sync
shutdown@@x@@6@@0@@shutdown@@/sbin@@/sbin/shutdown
halt❌7:0:halt:/sbin:/sbin/halt
mail❌8:12:mail:/var/spool/mail:/sbin/nologin
gdm❌42:42::/var/lib/gdm:/sbin/nologin
gnome-initial-setup❌993:991::/run/gnome-initial-setup/:/sbin/nologin
tcpdump❌72:72:?:/sbin/nologin
在这里插入图片描述

执行两个时用；例如：sed ‘/adm/,/shut/s/?@@/g;1,3s/: /@@/g’ passwd

（6）在每行行后插入一个空白行——sed G passwd

[root@grep_sed mnt]# sed G passwd 
root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sync:x:5:0:sync:/sbin:/bin/sync

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

gdm:x:42:42::/var/lib/gdm:/sbin/nologin

gnome-initial-setup:x:993:991::/run/gnome-initial-setup/:/sbin/nologin

tcpdump:x:72:72::/:/sbin/nologin

在这里插入图片描述

（7）在除最后一行外的每行行后插入一个空白行——sed ‘$!G’ passwd

[root@grep_sed mnt]# sed '$!G' passwd 
root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sync:x:5:0:sync:/sbin:/bin/sync

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

gdm:x:42:42::/var/lib/gdm:/sbin/nologin

gnome-initial-setup:x:993:991::/run/gnome-initial-setup/:/sbin/nologin

tcpdump:x:72:72::/:/sbin/nologin

在这里插入图片描述
（8）在空白行前添加行号—— sed = passwd
[root@grep_sed mnt]# sed = passwd
1
root❌0:0:root:/root:/bin/bash
2
bin❌1:1:bin:/bin:/sbin/nologin
3
daemon❌2:2:daemon:/sbin:/sbin/nologin
4
adm❌3:4:adm:/var/adm:/sbin/nologin
5
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin
6
sync❌5:0:sync:/sbin:/bin/sync
7
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown
8
halt❌7:0:halt:/sbin:/sbin/halt
9
mail❌8:12:mail:/var/spool/mail:/sbin/nologin
10
gdm❌42:42::/var/lib/gdm:/sbin/nologin
11
gnome-initial-setup❌993:991::/run/gnome-initial-setup/:/sbin/nologin
12
tcpdump❌72:72:?:/sbin/nologin
在这里插入图片描述
（9）每行行前添加行号——sed = passwd | sed ‘N;s/\n//g’
[root@grep_sed mnt]# sed = passwd | sed ‘N;s/\n//g’
1root❌0:0:root:/root:/bin/bash
2bin❌1:1:bin:/bin:/sbin/nologin
3daemon❌2:2:daemon:/sbin:/sbin/nologin
4adm❌3:4:adm:/var/adm:/sbin/nologin
5lp❌4:7:lp:/var/spool/lpd:/sbin/nologin
6sync❌5:0:sync:/sbin:/bin/sync
7shutdown❌6:0:shutdown:/sbin:/sbin/shutdown
8halt❌7:0:halt:/sbin:/sbin/halt
9mail❌8:12:mail:/var/spool/mail:/sbin/nologin
10gdm❌42:42::/var/lib/gdm:/sbin/nologin
11gnome-initial-setup❌993:991::/run/gnome-initial-setup/:/sbin/nologin
12tcpdump❌72:72:?:/sbin/nologin

在这里插入图片描述
（10）显示最后一行——sed -n ‘KaTeX parse error: Expected 'EOF', got '#' at position 30: …t@grep_sed mnt]#̲ sed -n 'p’ passwd
tcpdump❌72:72:?:/sbin/nologin

在这里插入图片描述

报告生成器——awk

一个 awk脚本通常由：BEGIN语句块、能够使用模式匹配的通用语句块、END语句块3部分组成，这三个部分是可选的。任意一个部分都可以不出现在脚本中，脚本通常是被单引号或双引号中;

(1) BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。
(2)pattern语句块中的通用命令是最重要的部分，它也是可选的。如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块。
(3)END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块。

##awk -F——指定分隔符
##以：为分隔符,打印passwd文件的的第一列字符
[root@shell_awk mnt]# awk -F : ‘{print $1}’ passwd
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games
ftp
nobody
dbus
polkitd
avahi
在这里插入图片描述
##以：为分隔符，打印第一列和第二列，不出现：分隔符
[root@shell_awk mnt]# awk -F : ‘{print $1$2}’ passwd
rootx
binx
daemonx
admx
lpx
syncx
shutdownx
haltx
mailx
operatorx
gamesx
ftpx
nobodyx
在这里插入图片描述

##以：为分隔符，在打印前先打印WESTOS，然后在打印第一列
[root@shell_awk mnt]# awk -F : ‘BEGIN{print “WESTOS”}{print $1}’ passwd
WESTOS
root
adm
sync
shutdown
halt
mail
operator
games
ftp
gdm
gnome-initial-setup
tcpdump
root ROOT njvlksdvmROOT SKDVMS root
ROOT SDKLJNVCS root
ROOT root sdvkn ROOT root
在这里插入图片描述

##以：为分隔符，先决定n=1，然后答应第一列 n（其中n=1）——相当于打印第一列后加1
[root@shell_awk mnt]# awk -F : ‘BEGIN{n=1}{print $1,n}’ passwd
root 1
adm 1
sync 1
shutdown 1
halt 1
mail 1
operator 1
games 1
ftp 1
gdm 1
gnome-initial-setup 1
tcpdump 1
root ROOT njvlksdvmROOT SKDVMS root 1
ROOT SDKLJNVCS root 1
ROOT root sdvkn ROOT root 1
在这里插入图片描述

##打印第一列加上序号
[root@shell_awk mnt]# awk -F : ‘BEGIN{n=1}{print $1,n++}’ passwd
root 1
adm 2
sync 3
shutdown 4
halt 5
mail 6
operator 7
games 8
ftp 9
gdm 10
gnome-initial-setup 11
tcpdump 12
root ROOT njvlksdvmROOT SKDVMS root 13
ROOT SDKLJNVCS root 14
ROOT root sdvkn ROOT root 15
在这里插入图片描述

##加上序号打印第一列
[root@shell_awk mnt]# awk -F : ‘BEGIN{n=1}{print n++,$1}’ passwd
1 root
2 adm
3 sync
4 shutdown
5 halt
6 mail
7 operator
8 games
9 ftp
10 gdm
11 gnome-initial-setup
12 tcpdump
13 root ROOT njvlksdvmROOT SKDVMS root
14 ROOT SDKLJNVCS root
15 ROOT root sdvkn ROOT root
在这里插入图片描述

##加上序号打印第一列，最后显示行数（NR）；（NF列）
[root@shell_awk mnt]# awk -F : ‘BEGIN{n=1}{print n++,$1}END{print NR}’ passwd
1 root
2 adm
3 sync
4 shutdown
5 halt
6 mail
7 operator
8 games
9 ftp
10 gdm
11 gnome-initial-setup
12 tcpdump
13 root ROOT njvlksdvmROOT SKDVMS root
14 ROOT SDKLJNVCS root
15 ROOT root sdvkn ROOT root
15

##输出包含bash行的第一个字符
[root@shell_awk mnt]# awk -F : ‘/bash/{print $1}’ passwd
root
在这里插入图片描述
##打印第四行的第三个字符
[root@shell_awk mnt]# awk -F : ‘NR==4{print $1}’ passwd
shutdown
在这里插入图片描述

##打印第四行到第八行的内容
[root@shell_awk mnt]# awk -F : ‘NR>=4&&NR<=8{print}’ passwd
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown
halt❌7:0:halt:/sbin:/sbin/halt
mail❌8:12:mail:/var/spool/mail:/sbin/nologin
operator❌11:0:operator:/root:/sbin/nologin
games❌12?games:/usr/games:/sbin/nologin
在这里插入图片描述

##打印第四行和第八行
[root@shell_awk mnt]# awk -F : ‘NR4||NR8{print}’ passwd
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown
games❌12?games:/usr/games:/sbin/nologin
在这里插入图片描述

##输出a+8的值
[root@shell_awk mnt]# awk ‘BEGIN{a=13;print a+8}’
21
在这里插入图片描述

##输出不是以a-d开头的行
[root@shell_awk mnt]# awk ‘/[a-d]/{print}’ passwd
root❌0:0:root:/root:/bin/bash
sync❌5:0:sync:/sbin:/bin/sync
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown
halt❌7:0:halt:/sbin:/sbin/halt
mail❌8:12:mail:/var/spool/mail:/sbin/nologin
operator❌11:0:operator:/root:/sbin/nologin
games❌12?games:/usr/games:/sbin/nologin
ftp❌14:50:FTP User:/var/ftp:/sbin/nologin
gdm❌42:42::/var/lib/gdm:/sbin/nologin
gnome-initial-setup❌993:991::/run/gnome-initial-setup/:/sbin/nologin
tcpdump❌72:72:?:/sbin/nologin
root ROOT njvlksdvmROOT SKDVMS root
ROOT SDKLJNVCS root
ROOT root sdvkn ROOT root
在这里插入图片描述
##输出以r开头或者以nologin结尾的行
[root@shell_awk mnt]# awk ‘/^r||nologin$/{print}’ passwd
root❌0:0:root:/root:/bin/bash
adm❌3:4:adm:/var/adm:/sbin/nologin
mail❌8:12:mail:/var/spool/mail:/sbin/nologin
operator❌11:0:operator:/root:/sbin/nologin
games❌12?games:/usr/games:/sbin/nologin
ftp❌14:50:FTP User:/var/ftp:/sbin/nologin
gdm❌42:42::/var/lib/gdm:/sbin/nologin
gnome-initial-setup❌993:991::/run/gnome-initial-setup/:/sbin/nologin
tcpdump❌72:72:?:/sbin/nologin
root ROOT njvlksdvmROOT SKDVMS root
在这里插入图片描述

##以g开头并且以nologin结尾的行
[root@shell_awk mnt]# awk ‘/^g/&&/nologin$/{print}’ passwd
games❌12?games:/usr/games:/sbin/nologin
gdm❌42:42::/var/lib/gdm:/sbin/nologin
gnome-initial-setup❌993:991::/run/gnome-initial-setup/:/sbin/nologin
在这里插入图片描述

##打印第一列以root结尾的行

[root@shell_awk mnt]# awk -F ： '$1~/root$/{print}' passwd
root ROOT njvlksdvmROOT SKDVMS  root
ROOT SDKLJNVCS root
ROOT root sdvkn ROOT root

在这里插入图片描述

##打印第六列含有bin的行

[root@shell_awk mnt]# awk -F : '$6~/\<bin$/{print}' /etc/passwd 
bin:x:1:1:bin:/bin:/sbin/nologin

在这里插入图片描述

##打印第六列不是以bin结尾的行

[root@shell_awk mnt]# awk -F : '$6!~/\<bin$/{print}' passwd
root:x:0:0:root:/root:/bin/bash
adm:x:3:4:adm:/var/adm:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
gdm:x:42:42::/var/lib/gdm:/sbin/nologin
gnome-initial-setup:x:993:991::/run/gnome-initial-setup/:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
root ROOT njvlksdvmROOT SKDVMS  root
ROOT SDKLJNVCS root
ROOT root sdvkn ROOT root

在这里插入图片描述

Linux三剑客之grep命令使用教程
weixin_45668002的博客
05-26 873
这篇文章详细介绍了Linux系统中grep命令的实用选项，分为三个主要部分：基本选项（如-i忽略大小写、-v反向匹配、-n显示行号等）、正则表达式选项（-E扩展正则、-F固定字符串搜索等）以及文件与目录选项（-r递归搜索、-l仅显示文件名）。每个选项都配有语法示例、示例数据和实际应用场景说明，帮助用户从基础到进阶掌握grep命令的强大功能，适用于日志分析、代码审查、配置文件处理等多种场景。
shell中的文本处理正则表达式（grep+sed+awk：俗称linux中的三剑客）
ymeng9527的博客
06-05 645
1.什么是正则表达式？ 正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念 正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本 许多程序设计语言都支持利用正则表达式进行字符串操作，例如，在Perl中就内建了一个功能强大的正则表达式引擎 正则表达式这个概念最初是由Unix中的工具软件（例如sed和...
Shell编程之正则表达式-grep、sed、awk
Zlwriii的博客
09-14 311
前言 Sed是文本处理工具，可以读取文本内容，根据指定条件对数据进行添加、删除、替换等操作，被广泛用于Shell脚本。Awk是一个功能强大的编辑工具，用于在Linux下对文本和数据进行处理。 一、正则表达式的概述 正则表达式分为基础正则表达式(BRE)和扩展正则表达式(ERE)，它不是一个工具程序，而是一个字符串处理的标准依据，是使用单个字符串搜索、匹配一系列符合某个语法规则的字符串。 支持正则表示的工具 文本处理工具 基础正则表达式 扩展正则表达式 vi编辑器 支持
shell正则表达式（grep、sed、awk）
ZGGHUAN
06-21 1034
grep sed [root@localhost mnt]# vim userfile [root@localhost mnt]# vim passfile [root@localhost mnt]# cat userfile user1 user2 user3 [root@localhost mnt]# cat passfile user1123 user2123 user3123 ...
shell正则表达式基本用法grep、sed、awk （附脚本代码演示）
qq_22356995的博客
04-14 316
一、正则表达式 它是一种文本模式匹配（a到z之间字母和特殊字符---元字符）； 它是一种字符串匹配的模式，可以检查一个字符串是否含有某种子串、把要匹配的子串替换 或者 是从某个字符串中 提取某个条件的子串； 它就像一个数学公式一样，我们通过它来生成一个公式从海量的数据中匹配出需要的数据； 常见的命令有 grep、sed、awk。 新建个测试...
shell中的文本处理正则表达式（grep+sed+awk linux三剑客）
qq_42024433的博客
02-16 408
1.正则表达式 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一定字符、及这些特定字符的组合，组成一个“规则字符串”这个“规则字符串”用来表达对字符串的一种过滤逻辑 正则表达式是对字符串（包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”））操作的一种逻辑公式就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表...
自学shell编程——第5讲（正则表达式+grep、sed、awk的使用）
weixin_44616693的博客
04-18 378
自学shell编程——第5讲（正则表达式+grep的使用） 这是shell编程语言，python语言重点的部分。比较好理解，但是难应用，要多多练习，有时候会事半功倍。 1. 正则表达式RE RE本质上是特殊符号组成的一个式子，帮助你模糊查询 可以用到RE的地方很多，常见的命令有grep。当然，在某些情况下也可以用。比如，你想删除这个目录下，所有以.sh结尾的文件。你可以使用rm *.sh。 grep标准使用格式：** grep 正则表达式 寻找对象文件 参数 。这样查找的结果会直接输出到终端，你后面可以使
Shell正则表达式之grep、sed、awk实操笔记
09-15
本文主要探讨了在Shell脚本编程中如何运用`grep`、`sed`与`awk`结合正则表达式来实现一些具体的需求。这些工具在文本处理方面极其强大，通过灵活运用它们，可以高效地完成文本搜索、替换、格式化等任务。 #### 二、...
shell脚本之正则表达式、grep、sed、awk
10-17
在本文中，我们将深入探讨shell脚本中的正则表达式、grep、sed和awk命令，这些工具对于文本处理和自动化脚本编写至关重要。下面将详细解释每个知识点，以便读者能够充分理解和应用。 ### 正则表达式 正则表达式是...
grep、sed、awk、perl等对正则表达式的支持的差别
11-01
在IT领域，文本处理是日常工作中不可或缺的一部分，而grep、sed、awk和perl这四个工具在处理文本时都广泛地使用了正则表达式。它们各自有着不同的特性和适用场景，理解它们之间的差异有助于我们更高效地进行文本操作...
shell中的文本处理正则表达式（grep，sed，awk，linux中三剑客）
Rapig1的博客
08-19 303
1.什么是正则表达式 正则表达式，又称为规则表达式，在代码中常简写为regex，regexp或RE，计算机科学的一个概念 正则表达式通常被用来检索，替换那些符合某个模式（规则）的文本 许多程序设计语言都支持利用正则表达式进行字符串操作，例如在Perl内建了一个功能强大的正则表达式引擎 正则表达式这个概念最初是由Unix中的工具软件，例如sed和grep普及开的 正则表达式常缩写成regex，单数...
grep+sed+awk
weixin_49025970的博客
01-18 353
1、防火墙知识回顾 第一次握手是以SYN置为1来执行的，故限制SYN扫描 3389 windows里远程服务端口 iptable的state来防御（作业）： 原理： state的状态，第一次连接是new的状态，第二次是es状态，本机要访问别的时候必须开启es，别人访问的时候是new的状态，故有效隔绝。 拓展： state模块的描述下有四种，分别是ESTABLISHED、NEW、RELATED及INVALID，这两个分类是两个不相干的定义。例如在TCP/IP标准描述下UDP及ICMP数据包是没有连接状态的，
shell中的grep+sed+awk命令
Zhangxu0606的博客
08-22 349
grep文本过滤命令 grep的定义 Global search regular expression and print out the line 全面搜索研究正则表达式并显示出来 grep命令是一种强大的文本搜索工具，根据用户指定的“模式”对目标文本进行匹配检查，打印匹配到的行 由正则表达式或者字符及基本文本字符所编写的过滤条件 grep的格式 grep 匹配条件 处理文件 例如...
sed + grep 命令
wgembed的专栏
04-04 4025
sed是一种非交互式的流编辑器，可动态编辑文件。 所谓非交互式是说，sed和传统的文本编辑器不同，并非和使用者直接互动，sed处理的对象是文件的数据流（称为stream/流）。 sed的工作模式是，比对每一数据行，若符合样式，就执行指定的操作。               sed --version       //查看sed版本      sed语法               s
SHELL中常用的文本处理工具（grep+sed+awk）
weixin_45792518的博客
03-31 643
1.grep grep在数据中查寻一个字符串时，是以"整行"为单位来进行数据的取出的 cut是将一行数据当中取出我们想要的部分，而grep是分析一行数据，若当中有我们所需要的的数据，就将该行取出来 grep ##基础正规表示法 grep -E = egrep ##延伸正规表示法 grep 格式 grep 匹配条件 处理文件 grep linux passwd ##过滤linux关键字 ...
grep 和 sed 应用之grep过滤的内容sed批量更改
2028
04-04 1362
grep/sed/awk 使用笔记 通过 grep 查找出指定字符，然后再通过 sed 批量更改： sed -i ‘s/=\w.*/=root/g’ $(grep -irl “pass” */env.txt) 查找当前以及当前以内的所有目录中包含 pass（忽略大小写）的文件，列出目录： grep -irl “pass” * 将符合条件的内容更换为指定的内容 sed -i ‘s/=\w.*/=ro...
正则表达式之grep与sed用法
QwQNightmare的博客
12-03 651
正则表达式之grep与sed用法 对于操作系统管理员来说，使用正则表达式处理日常产生的信息是非常有用的。其中主要的正则表达式三剑客有：grep、sed和awk。今天主要讲解grep和sed的用法。 （一）、grep和egrep的用法 一、grep用法 grep是根据给出的条件查找特定的字符。用单引号查找指定的单词，图1.1。grep后面可选项用**-n显示查找的行数；-i不区分大小写查找图1.2...
Shell脚本：掌握正则表达式与grep、sed、awk
本文主要介绍了在Shell脚本中如何使用正则表达式、grep、sed和awk这四个工具进行文本处理和数据操作。通过学习这些基础概念和语法，你可以更有效地在Linux环境中处理命令行任务。 正则表达式是文本处理的核心工具，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值