Linux三剑客grep-sed-awk

最新推荐文章于 2025-11-24 15:20:11 发布
原创 最新推荐文章于 2025-11-24 15:20:11 发布 · 594 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #运维 #服务器

linux三剑客-grep、sed、awk

文章目录

1.正则表达式
1.1正则表达式？
- 匹配有规律的东西：手机号、身份证号、匹配日志
- 正则表达式就出来了，regular expression(RE)
- 使用一些符号表达重复出现、大小写、开头/结尾含义
1.2应用场景？-谁可以用？
正则表达式linux三剑客使用，开发语言（Python，Java，golang)
应用场景过滤有规律的内容，尤其是日志
1.3正则注意事项（避免90%以上的坑）

  • 所有的符号都是英文符号

  • 学习正则通过grep命令学习，grep加上单引号

  • 给grep egrep加上颜色 ‘alias grep =‘grep --color=auto’’

  • 注意系统的字符集：en_US.UTF-8（大部分情况没问题），如果出现问题修改字符集为C：export LANG=C

  • 快速掌握正则：配合grep -o 参数学习

    1.4正则符号
基础正则^ $ ^$ . * .* [a-z] [^abc](取反，匹配任何不在方括号内指定的单个字符)
扩展正则+ | () {} ?
1.5正则VS通配符
分类诞生目标(用途)支持的命令
正则三剑客、高级语言、进行过滤（匹配字符）三剑客grep，sed,awk,find,rename(ubuntu)
通配符（pathname extension 或者globa）匹配文件（文件名）*.txt *.log {1…10}linux下面大部分命令都可以支持
2.基础正则
环境准备：
[root@oldboyedu oldboy]# cat oldboy.txt 
I am lizhenya teacher!
I teach linux.
test

I like badminton ball ,billiard ball and chinese chess!
my blog is http: blog.51cto.com 
our site is http:www.lizhenya.com 
our site is http:www.lizhenua.com 
my qq num is 593528156

aaaa,
not 572891888887.
^^^^^^^^66$$$$$$$^^^$$
lizhenyalizhenyalizhenya
2.1 ^ 以…开头的行
案例：以my开头的行
[root@oldboyedu oldboy]# grep '^my' oldboy.txt    
my blog is http: blog.51cto.com 
my qq num is 593528156

在这里插入图片描述

2.2 $ 以…结尾的行
案例：以156结尾的行
[root@oldboyedu oldboy]# grep '156$' oldboy.txt 
my qq num is 593528156

在这里插入图片描述

cat -A file 	#显示文件中隐藏的标记
[root@oldboyedu oldboy]# cat -A oldboy.txt 
I am lizhenya teacher!$
I teach linux.$
test$
$
I like badminton ball ,billiard ball and chinese chess!$
my blog is http: blog.51cto.com $
our site is http:www.lizhenya.com $
our site is http:www.lizhenua.com $
my qq num is 593528156$
$
aaaa,$
not 572891888887.$
^^^^^^^^66$$$$$$$^^^$$$
lizhenyalizhenyalizhenya$

在这里插入图片描述

案例：显示以m 结尾的行
[root@oldboyedu oldboy]# grep 'm $' oldboy.txt 
my blog is http: blog.51cto.com 
our site is http:www.lizhenya.com 
our site is http:www.lizhenua.com

在这里插入图片描述

2.3 ^$ 空行
  • 空行 这一行没有任何内容
案例:过滤出空行
[root@oldboyedu oldboy]# grep -n '^$' oldboy.txt 
4:
10:
  • 企业中案例：
排除空行
[root@oldboyedu oldboy]# grep -v '^$' oldboy.txt 
I am lizhenya teacher!
I teach linux.
test
I like badminton ball ,billiard ball and chinese chess!
my blog is http: blog.51cto.com 
our site is http:www.lizhenya.com 
our site is http:www.lizhenua.com 
my qq num is 593528156
aaaa,
not 572891888887.
^^^^^^^^66$$$$$$$^^^$$
2.4 . (点) 任意一个字符
  • 注意 . 不匹配空行
[root@oldboyedu oldboy]# grep '.' oldboy.txt 
I am lizhenya teacher!
I teach linux.
test
I like badminton ball ,billiard ball and chinese chess!
my blog is http: blog.51cto.com 
our site is http:www.lizhenya.com 
our site is http:www.lizhenua.com 
my qq num is 593528156
aaaa,
not 572891888887.
^^^^^^^^66$$$$$$$^^^$$
lizhenyalizhenyalizhenya

在这里插入图片描述

2.5 \ 转义字符 -脱掉马甲打回原形，去除原有特殊含义
  • 匹配出以 . 结尾的行
[root@oldboyedu oldboy]# grep '\.$' oldboy.txt 
I teach linux.
not 572891888887.

在这里插入图片描述

  • 转义字符序列
    • \n 回车键
    • \t tab键
2.6 * 前一个字符连续出现0次或者0次以上
案例：8连续出现0次或者0次以上
[root@oldboyedu oldboy]# grep '8*' oldboy.txt 
I am lizhenya teacher!
I teach linux.
test

I like badminton ball ,billiard ball and chinese chess!
my blog is http: blog.51cto.com 
our site is http:www.lizhenya.com 
our site is http:www.lizhenua.com 
my qq num is 593528156

aaaa,
not 572891888887.
^^^^^^^^66$$$$$$$^^^$$
lizhenyalizhenyalizhenya

在这里插入图片描述

[root@oldboyedu oldboy]# grep '\^*' oldboy.txt 
I am lizhenya teacher!
I teach linux.
test

I like badminton ball ,billiard ball and chinese chess!
my blog is http: blog.51cto.com 
our site is http:www.lizhenya.com 
our site is http:www.lizhenua.com 
my qq num is 593528156

aaaa,
not 572891888887.
^^^^^^^^66$$$$$$$^^^$$

在这里插入图片描述

2.7 .* 所有内容、任何内容、任意内容
  • 整体记忆 . 表示所有*
  • 理解：.表示任意一个字符 * 表示前一个字符连续出现0次或者0次以上
匹配全部内容
[root@oldboyedu oldboy]# grep '.*' oldboy.txt 
I am lizhenya teacher!
I teach linux.
test

I like badminton ball ,billiard ball and chinese chess!
my blog is http: blog.51cto.com 
our site is http:www.lizhenya.com 
our site is http:www.lizhenua.com 
my qq num is 593528156

aaaa,
not 572891888887.
^^^^^^^^66$$$$$$$^^^$$
lizhenyalizhenyalizhenya

在这里插入图片描述

案例：
[root@oldboyedu oldboy]# grep '^.*t' oldboy.txt 
I am lizhenya teacher!
I teach linux.
test
I like badminton ball ,billiard ball and chinese chess!
my blog is http: blog.51cto.com 
our site is http:www.lizhenya.com 
our site is http:www.lizhenua.com 
not 572891888887.

在这里插入图片描述

案例：任意开头到第一个o结束的行
  • 正则表达式特色：正则表达式的贪婪性。*表示所有或者*连续出现的时候表现出尽可能贪婪匹配
2.8 灵异的2* 8*
  • 为什么多匹配了内容？
[root@oldboyedu oldboy]# grep '8*' oldboy.txt 
I am lizhenya teacher!
I teach linux.
test

I like badminton ball ,billiard ball and chinese chess!
my blog is http: blog.51cto.com 
our site is http:www.lizhenya.com 
our site is http:www.lizhenua.com 
my qq num is 593528156

aaaa,
not 572891888887.
^^^^^^^^66$$$$$$$^^^$$
lizhenyalizhenyalizhenya


## 8* 表示数字8出现了0次或者是0次以上。出现0次意思是什么都没有，这时候会把所有内容显示出来
2.9 [] [abc] 1次匹配任何一个字符（a或b或c）
[root@oldboyedu oldboy]# grep '[abc]' oldboy.txt 
I am lizhenya teacher!
I teach linux.
I like badminton ball ,billiard ball and chinese chess!
my blog is http: blog.51cto.com 
our site is http:www.lizhenya.com 
our site is http:www.lizhenua.com 
aaaa,
lizhenyalizhenyalizhenya


[a-z]	#所有小写字母
[A-Z]	#大写字母
[0-9]	#数字
[a-Z0-9] #所有大小写字母和数字
grep -i [a-z0-9] #所有大小写字母和数字

案例：匹配文件中的大小写字母和数字
[root@oldboyedu oldboy]# grep '[a-zA-Z0-9]' oldboy.txt 
I am lizhenya teacher!
I teach linux.
test
I like badminton ball ,billiard ball and chinese chess!
my blog is http: blog.51cto.com 
our site is http:www.lizhenya.com 
our site is http:www.lizhenua.com 
my qq num is 593528156
aaaa,
not 572891888887.
^^^^^^^^66$$$$$$$^^^$$
lizhenyalizhenyalizhenya
  • [a-z|A-Z|0-9] 匹配大小写字母和数字和|
2.10 [^] [^abc] 取反，排除 排除a或b或c .匹配a或b或c以外的内容
案例：除了a或b或c以外的内容
[root@oldboyedu oldboy]# grep '[^abc]' oldboy.txt 
I am lizhenya teacher!
I teach linux.
test
I like badminton ball ,billiard ball and chinese chess!
my blog is http: blog.51cto.com 
our site is http:www.lizhenya.com 
our site is http:www.lizhenua.com 
my qq num is 593528156
aaaa,
not 572891888887.
^^^^^^^^66$$$$$$$^^^$$
lizhenyalizhenyalizhenya

在这里插入图片描述

基础正则小结
基础正则含义搭配
^以…开头
$以…结尾
^$空行固定搭配^$
.任意字符
*前一个字符连续出现0次或者0次以上
.*所有内容固定搭配 .*
\转义字符 \n \t
[]匹配[]内任意单个字符[abc](a或b或c)[]与+搭配
[^]取反。 ^ 符号在方括号 [] 内时表示取反。匹配任何不在方括号内指定的字符集合中的单个字符
正则贪婪性正则表达式的特点 .* 或连续出现
3.扩展正则
符号
+
|
（）
{}
？
3.1 + 前一个字符连续出现1次或者1次以上
4.三剑客sed
4.1 特点及格式
  • sed stream editor 流编辑器，sed把处理的内容（文件）,当做是水源源不断地进行处理，直到文件末尾
  • sed格式
命令选项（参数）（s）替换 sed命令功能（g）修饰符文件
sed-r‘s#oldboy#oldgirl#g’oldboy.txt
  • sed命令的核心功能
功能
s替换substitute sub
p显示 print
d删除DELETE
cai增加c/a/i
4.2 sed命令执行过程

找谁，干啥

  • 找谁：哪一行
  • 干啥：增删改查
4.3 sed核心应用

sed-查找 p

查找格式
‘2p’指定行查找
‘1,5p’指定行号范围进行查找
‘/lidao/p’类似于grep过滤，//里面可以写正则
‘//,//p’表示范围的过滤。找日志用
  • 指定行号
#指定行号查找 
[root@oldboyedu ~]# sed -n '3p' oldboy.txt 
103,李导996,COO

#sed -n 取消默认输出
[root@oldboyedu ~]# sed -n '3p' oldboy.txt 
103,李导996,COO
[root@oldboyedu ~]# sed '3p' oldboy.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,李导996,COO
103,李导996,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO

#sed 指定行号范围
[root@oldboyedu ~]# sed -n '1,3p' oldboy.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,李导996,COO

[root@oldboyedu ~]# sed -n '3,6p' oldboy.txt 
103,李导996,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO

#sed 从第4行到最后一行
[root@oldboyedu ~]# sed -n '4,$p' oldboy.txt 
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
  • 过滤
#过滤包含oldboy
[root@oldboyedu ~]# sed -n '/oldboy/p' oldboy.txt 
101,oldboy,CEO

#过滤包含10
[root@oldboyedu ~]# sed -n '/10/p' oldboy.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,李导996,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO

#过滤包含4或5
[root@oldboyedu ~]# sed -n '/[45]/p' oldboy.txt 
104,yy,CFO
105,feixue,CIO

#表示范围过滤。包含102到105的行
[root@oldboyedu opt]# sed -n '/102/,/105/p' oldboy.txt 
102,zhangyao,CTO
103,李导996,COO
104,yy,CFO
105,feixue,CIO
  • 实际生产环境日志统计
禁用cat/vim
使用head/tail/less/more/sed/grep

sed 删除d delete

删除格式
‘2d’指定行删除
‘1,5d’指定行号范围删除
‘/lidao/d’过滤删除
‘/11:00/,/12:00/d’过滤区间范围删除
#常见删除
#1.指定行删除：
[root@oldboyedu ~]# cat 1.txt 
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
#删除第2行
[root@oldboyedu ~]# sed '3d' 1.txt 
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
#删第3行
[root@oldboyedu ~]# sed '2d' 1.txt 
1 root:x:0:0:root:/root:/bin/bash
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
#指定范围删除 
[root@oldboyedu ~]# sed '2,3d' 1.txt 
1 root:x:0:0:root:/root:/bin/bash
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

#过滤删除包含xx的行。整行删除
[root@oldboyedu opt]# cat oldboy.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,李导996,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO

[root@oldboyedu opt]# sed '/lidao/d' oldboy.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,李导996,COO
104,yy,CFO
105,feixue,CIO
sed -增加 cai
命令含义
creplace 替代这行的内容
aappend 向指定的行或每一行追加内容 相当于>> （行的后面）
iinsert 插入 向执行的行或者是每行插入内容 （这一行的前面）
[root@oldboyedu ~]# cat oldboy.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,李导996,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@oldboyedu ~]# 
[root@oldboyedu ~]# 
[root@oldboyedu ~]# 
[root@oldboyedu ~]# sed '3a 996,lidao996,UFO' oldboy.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,李导996,COO
996,lidao996,UFO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO

[root@oldboyedu ~]# sed '3i 996,lidao996,UFO' oldboy.txt 
101,oldboy,CEO
102,zhangyao,CTO
996,lidao996,UFO
103,李导996,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@oldboyedu ~]# sed '3c 996,lidao996,UFO' oldboy.txt 
101,oldboy,CEO
102,zhangyao,CTO
996,lidao996,UFO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
  • 企业案例：向文件中追加多行内容
向sshd_config 里面追加
UseDNS no
GSSAPIAURCARION no
PermintRootLogin no

#方法一：
cat  >>config<<'EOF'
UseDNS no
GSSAPIAURCARION no
PermintRootLogin no
EOF

#方法二：sed
sed '$a UseDNS no\nGSSAPIAURCARION no\nPermintRootLogin no' config
#在config文件的最后一行增加
UseDNS no
GSSAPIAURCARION no
PermintRootLogin no
#这三行内容 \n 是换行
sed - 替换 s
  • s–> sub substitute 代替 替换
  • g—> global 全局替换，sed去替换所有匹配的内容，不带g的话sed默认只替换每行第一个匹配的内容
替换格式
s###g 第一个和第二个#之间支持正则
s@@@g
s///g
[root@oldboyedu ~]# cat oldboy.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,李导996,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@oldboyedu ~]# 
[root@oldboyedu ~]# sed 's#[0-9]##g' oldboy.txt
,oldboy,CEO
,zhangyao,CTO
,李导,COO
,yy,CFO
,feixue,CIO
,lidao,COCO


[root@oldboyedu ~]# sed 's#[0-9]##' oldboy.txt
01,oldboy,CEO
02,zhangyao,CTO
03,李导996,COO
04,yy,CFO
05,feixue,CIO
10,lidao,COCO
sed-后向引用(反向引用)
  • 口诀：先保护，再使用
[root@oldboyedu ~]# echo 123456 |sed -r 's#(.*)#<\1>#g'
<123456>                                   先保护，再使用


sed -r 支持扩展正则
\1 代表前边（）括起来的内容


案例2：
[root@oldboyedu ~]# echo oldboy_lidao |sed -r 's#(^.*)_(.*)#\1_\2#g'
oldboy_lidao
[root@oldboyedu ~]# echo oldboy_lidao |sed -r 's#(^.*)_(.*)#\2_\1#g'
lidao_oldboy


案例：取网卡的IP地址
ip a s eth0  # ip addr show eth0

[root@oldboyedu ~]# ip a s eth0 |sed -n '3p'
    inet 10.0.0.200/24 brd 10.0.0.255 scope global eth0
[root@oldboyedu ~]# 
[root@oldboyedu ~]# ip a s eth0 |sed -n '3p' |sed -r s#(^.*t )(.*)(/.*$)#\1#g
-bash: syntax error near unexpected token `('
[root@oldboyedu ~]# 
[root@oldboyedu ~]# ip a s eth0 |sed -n '3p' |sed -r s#(^.*t )(.*)(/.*$)#\1#g
-bash: syntax error near unexpected token `('
[root@oldboyedu ~]# 
[root@oldboyedu ~]# ip a s eth0 |sed -n '3p'
    inet 10.0.0.200/24 brd 10.0.0.255 scope global eth0
[root@oldboyedu ~]# 
#取出第一组里的
[root@oldboyedu ~]# ip a s eth0 |sed -n '3p'|sed -r 's#(^.*t )(.*)(/.*$)#\1#g'
    inet 
#取出第二组里的
[root@oldboyedu ~]# ip a s eth0 |sed -n '3p'|sed -r 's#(^.*t )(.*)(/.*$)#\2#g'
10.0.0.200

#取出第三组里的
[root@oldboyedu ~]# ip a s eth0 |sed -n '3p'|sed -r 's#(^.*t )(.*)(/.*$)#\3#g'
/24 brd 10.0.0.255 scope global eth0


#精简命令取出IP地址：
[root@oldboyedu ~]# ip a s eth0 |sed -rn '3s#^.*t (.*)/.*$#\1#gp'
10.0.0.200


#案例：取权限
[root@oldboyedu ~]# stat /etc/hosts
  File: ‘/etc/hosts’
  Size: 182       	Blocks: 8          IO Block: 4096   regular file
Device: 803h/2051d	Inode: 16814892    Links: 1
Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2024-05-19 20:21:54.018999440 +0800
Modify: 2024-03-12 21:33:41.216339940 +0800
Change: 2024-03-12 21:33:41.216339940 +0800
 Birth: -
 
 [root@oldboyedu ~]# stat /etc/hosts |sed -n 4p
Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)

[root@oldboyedu ~]# stat /etc/hosts |sed -n 4p |sed -r 's#^.*\(0(.*)(/-.*$)#\1#g'
644

# 精简命令：
[root@oldboyedu ~]# stat /etc/hosts |sed -rn '4s#^.*\(0(.*)(/-.*$)#\1#gp'
644
5. awk
awk特点与应用场景
awk
一门语言，类似C语言
过滤，统计，计算
过滤，统计日志
awk执行过程
awk -F , 'BEGIN{print "name"}{print $2}{print "end of file"}' oldboy.txt

在这里插入图片描述

[root@sanjk tmp]# awk -F , 'BEGIN{print "name"}{print $2}{print "end of file"}' oldboy.txt
name
oldboy
end of file
zhangyao
end of file
李导996
end of file
yy
end of file
feixue
end of file
lidao
end of file
awk中的行与列
名词awk中叫法一些说明
行记录record每一行默认通过回车分隔的
列字段，域 field每一列默认通过空格分隔的
awk中的行和列结束标记都是可以修改的。
1）取行
awk
NR==1取出一行
NR>=1&&NR<=5取出1到5行
/oldboy/过滤
/101/,/105/范围
符号> < >= <= == !=
[root@sanjk tmp]# awk 'NR==1' oldboy.txt 
#找谁{干啥}
101,oldboy,CEO
[root@sanjk tmp]# awk 'NR>=1 && NR<=5' oldboy.txt
#找谁{干啥}
101,oldboy,CEO
102,zhangyao,CTO
103,李导996,COO
104,yy,CFO
105,feixue,CIO

[root@sanjk tmp]# awk '/oldboy/' oldboy.txt 
101,oldboy,CEO
[root@sanjk tmp]# awk '/101/,/105/' oldboy.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,李导996,COO
104,yy,CFO
105,feixue,CIO
2）awk取列
  • -F 指定分隔符。指定每一列结束标记（默认是空格，连续的空格，tab键）
  • 数字表示取出某一列，注意在 a w k 中 数字 表示取出某一列，注意在awk中 数字表示取出某一列，注意在awk中内容就一个意思：表示取出某一列
  • $0 表示整行的内容，
  • {print xxx}
  • $NF 表示最后一列
[root@sanjk tmp]# ls -l
total 8
-rwxr-xr-x 1 root root  2 Jun  3 19:13 config
-rw-r--r-- 1 root root 91 Apr  6 17:33 oldboy.txt
drwx------ 2 root root  6 Jun  3 17:21 vmware-root_766-2990744190
drwx------ 2 root root  6 Jun  3 17:18 vmware-root_793-4248746047
[root@sanjk tmp]# 
[root@sanjk tmp]# ls -l |awk '{print $5}'

2
91
6
6


[root@sanjk tmp]# ls -l |awk '{print $5,$9}' |column -t
2   config
91  oldboy.txt
6   vmware-root_766-2990744190
6   vmware-root_793-4248746047


[root@sanjk tmp]# ls -l |awk '{print $5,$NF}'
 8
2 config
91 oldboy.txt
6 vmware-root_766-2990744190
6 vmware-root_793-4248746047


[root@sanjk tmp]# #取出passwd 第一列和最后一列
[root@sanjk tmp]# head -1 /etc/passwd |awk -F : '{print $1,$NF}'
root /bin/bash


[root@sanjk tmp]# head -5 /etc/passwd |awk -F : -vOFS=: '{print $NF,$5,$4,$3,$2,$1}'
/bin/bash:root:0:0:x:root
/sbin/nologin:bin:1:1:x:bin
/sbin/nologin:daemon:2:2:x:daemon
/sbin/nologin:adm:4:3:x:adm
/sbin/nologin:lp:7:4:x:lp
小结
  • 行与列 名称
  • awk 取行与取列，指哪打哪
  • 取出网卡IP地址
[root@sanjk tmp]# ip a s eth0|awk 'NR==3'
    inet 10.0.0.129/24 brd 10.0.0.255 scope global eth0
[root@sanjk tmp]# ip a s eth0|awk 'NR==3'|awk -F"[ /]+" '{print $3}'
10.0.0.129
[root@sanjk tmp]# ip a s eth0|awk -F"[ /]+" 'NR==3{print $3}'
10.0.0.129
awk的内置变量
内置变量
NRNumber of Record 记录号，行号
NFNumber of Field 每行有多个字段（列）$NF表示最后一列的内容
FS-F: === -v FS=: Field Separator 字段分隔符，每个字段结束标记
OFSOutput Field Separator 输出字段分隔符（awk显示每一列的时候每一列之间通过什么分隔，默认是空格）
awk模式匹配
  • awk -F"[ /]+" ‘NR==3{print $2}’
awk-F"[ /]"‘NR==3{print $2}’
命令选项‘条件{动作}’
‘找谁{干啥}’
‘模式{动作}’
‘pattern{action}’

1）比较符号： > < >= <= == !=

2）正则：

3）范围：表达式//,//

4）特殊条件：BEGIN和END

1）比较表达式-参考上边取行部分
2）正则
  • // 支持扩展正则
  • awk 可以精确到某一列，某一列中包含或者不包含…内容
  • ~ 包含
  • !~ 不包含
正则awk正则
^表示以…开头的行某一列的开头$3~/oldboy/
$表示以…结尾的行某一列的结尾$4~/lidao/
^$ 表示空行某一列是空的
#第三行是以1开头的行
[root@sanjk tmp]# head -5 /etc/passwd|awk -F : '$3~/^1/'
bin:x:1:1:bin:/bin:/sbin/nologin

 #找出第3列以2开头的行，并显示第1列，第3列和最后一列
[root@sanjk tmp]# awk -F: '$3~/^2/{print $1,$3,$NF}' /etc/passwd
daemon 2 /sbin/nologin

#找出第3列以1或者2开头的行，并显示第1列，第3列和最后一列
[root@sanjk tmp]# awk -F: '$3~/^[12]/{print $1,$3,$NF}' /etc/passwd
bin 1 /sbin/nologin
daemon 2 /sbin/nologin
operator 11 /sbin/nologin
games 12 /sbin/nologin
ftp 14 /sbin/nologin
systemd-network 192 /sbin/nologin
abrt 173 /sbin/nologin
test01 1000 /bin/bash
test02 1001 /bin/bash
oldboy 1002 /bin/bash
test05 1006 /sbin/nologin
oldboy02 1007 /bin/bash
oldboy1 1008 /bin/bash
3）表示范围
  • /哪里开始/,/哪里结束/ =常用=
  • NR1，NR5 从第一行开始到第5行结束 类似于‘sed -n ‘1,5p’’
#显示一定时间内的日志
[root@sanjk tmp]# awk '/21:44:03/,/21:44:12/' /var/log/secure |wc -l
4
[root@sanjk tmp]# awk '/21:44:03/,/21:44:12/{print $1}' /var/log/secure
Jun
Jun
Jun
Jun
4）特殊模式BEGIN{} 和END{}
模式含义应用场景
BEGIN{}里面的内容会在awk读取文件之前执行1)进行简单统计，计算，不涉及读取文件（常见）
2）处理文件之前
3）用来定义一些awk变量（很少用）
END{}里面的内容会在awk读取文件之后执行1）awk进行统计，一般过程：先进行计算，最后END里面输出结果（常见）
2）awk使用数组，用来输出属组结果（常见）
  • END统计计算
  • 统计方法：i++ i=i+1
统计方法简写应用场景
i++i=i+1计数，统计次数
sum =sum+?sum+=?求和累加
注意i,sum都是变量
#统计/etc/services里面有多少个空行
[root@sanjk tmp]# awk '/^$/{i++}END{print i}' /etc/services 
17
##seq 100 求和1+2+3...+100 awk实现
[root@sanjk tmp]# seq 100|awk '{sum=sum+$1}END{print sum}'
5050
##如果想查看过程怎么办？
[root@sanjk tmp]# seq 100|awk '{sum=sum+$1;print sum}END{print sum}'
awk数组
  • 统计次数：统计日志：类似于统计每个IP出现的次数，统计每种状态码出现的次数，统计系统中用户被攻击的次数。统计攻击者IP出现的次数。
  • 累加求和：统计日志中每个IP消耗的流量。。。。
shell数组awk数组
形式array[0]=oldboy array[1]=lidaoarray[0]=oldboy array[1]=lidao
使用echo a r r a y [ 0 ] e c h o array[0] echo array[0]echoarray[1]print array[0] printarray[1]
         |
  • END统计计算
  • 统计方法：i++ i=i+1
统计方法简写应用场景
i++i=i+1计数，统计次数
sum =sum+?sum+=?求和累加
注意i,sum都是变量
#统计/etc/services里面有多少个空行
[root@sanjk tmp]# awk '/^$/{i++}END{print i}' /etc/services 
17
##seq 100 求和1+2+3...+100 awk实现
[root@sanjk tmp]# seq 100|awk '{sum=sum+$1}END{print sum}'
5050
##如果想查看过程怎么办？
[root@sanjk tmp]# seq 100|awk '{sum=sum+$1;print sum}END{print sum}'
awk数组
  • 统计次数：统计日志：类似于统计每个IP出现的次数，统计每种状态码出现的次数，统计系统中用户被攻击的次数。统计攻击者IP出现的次数。
  • 累加求和：统计日志中每个IP消耗的流量。。。。
shell数组awk数组
形式array[0]=oldboy array[1]=lidaoarray[0]=oldboy array[1]=lidao
使用echo a r r a y [ 0 ] e c h o array[0] echo array[0]echoarray[1]print array[0] printarray[1]
linux文本三剑客 --- grep、sed、awk
weixin_62443409的博客
03-23 2491
水平和垂直的空白字符（比[:blank:]包含的范围广）-A：除了显示符合范本样式的那一列之外，并显示该行之后的内容。-C：除了显示符合样式的那一行之外，并显示该行之前后的内容。-B：除了显示符合样式的那一行之外，并显示该行之前的内容。[:alnum:] 或 [0-9a-zA-Z][:digit:] 十进制数字 或[0-9][:alpha:] 或 [a-zA-Z][:upper:] 或 [A-Z][:lower:] 或 [a-z]
Linux文本三剑客(grep、sed、awk)
m0_63069714的博客
03-20 3376
Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来(匹配到的标红)。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。grep的工作方式是这样的，它在一个或多个文件中搜索字符串模板。如果模板包括空格，则必须被引用，模板后的所有字符串被看作文件名。搜索的结果被送到标准输出，不影响源原文件内容。
LINUX 三剑客(grep---sed-----awk)
BJLLWXZ博客
07-02 1632
f 指定规则文件，其内容含有一个或多个规则样式，让grep查找符合规则条件的文件内容，格式为每行一个规则样式。-A : 除了显示符合范本样式的那一列之外，并显示该行之后的内容。-C 除了显示符合样式的那一行之外，并显示该行之前后的内容。-B 除了显示符合样式的那一行之外，并显示该行之前的内容。-h : 在显示符合样式的那一行之前，不标示该行所属的文件名称。-H : 在显示符合样式的那一行之前，表示该行所属的文件名称。
Linux运维命令-三剑客(grep awk sed)
qq_51097294的博客
02-26 2143
在Linux中，grep、awk、sed 命令常被称为“三剑客”。这三种命令是文本处理和数据操作的强大工具，可以非常高效地在终端中对数据进行处理。掌握这三个命令对于文本处理、搜索显得尤为重要。掌握linux命令三剑客功在平时，要经常使用才可以熟练运用其特性，提高办公效率。
Linux三剑客-sed&awk
linux运维工程师
08-22 955
四剑客特点擅长find查找文件查找文件，与其他命令配合grep/egrep过滤过滤速度很快sed过滤，取行，替换，删除替换，修改文件内容，取行awk过滤，取行，取列，统计计算，判断，循环…取行，取列，统计计算。
Linux三剑客命令-sed-grep-awk
2201_75993490的博客
08-29 1447
企业生产案例：1.批量创建buffes01-buffes10共10个用户，并用用户后的数字作为密码。2.在/buffes目录及其子目录下的所有以扩展名.sh结尾的文件，把包含hostlists.txt 的字符串全部替换为idctest_iplist。3.某IT公司的一个Web服务器里，站点目录下的所有文件均被植入了如下内容：包括图片文件也被植入了上述内容，网站打开时就会调用这个地址，显示一个广告，造成的影响很恶劣。那么，具体该如何解决呢？sed [选项]解释说明-n。
三剑客grep-sed-awk
xy021111的博客
09-17 260
应用场景（grep--sed--awk）：对文件、输出文本、一切字段进行信息的提取。
Linux 三剑客 grep、sed 和 awk
Looking的博客
09-27 980
grep 在使用其他语言的时候接触稍微多一些，所以就先从它开始吧！ grep grep 指令用于查找内容包含指定的范本样式的文件，如果发现某文件的内容符合所指定的范本样式，预设 grep 指令会把含有范本样式的那一列显示出来。若不指定任何文件名称，或是所给予的文件名为 -，则 grep 指令会从标准输入设备读取数据。 参数： -a 或 --text : 不要忽略二进制的数据。 -A <显示行数> 或 --after-context=<显示行数> : 除了显示符合范本样式的那
linux三剑客grep awk sed详解-保姆猴详解(包括模式空间和暂存空间)
KuboDash的博客
11-25 1062
linux命令awk,grep,sed非常详细的讲解和例子展示
python grep awk_三剑客-grep-awk-sed
weixin_39791446的博客
01-28 156
三剑客-grep-awk-sedgrep格式：grep 参数 过滤文件内容 文件名称cat file|grep '过滤的内容'​ 参数： -v 取反​ -E 支持扩展正则 | 或者 egrep ‘$|#’​ -n 显示过滤内容的行号​ -o ...
grep-sed-awk-for-windows
10-10
传统上，文本处理在Unix和Linux系统中十分方便，主要得益于grep、sed、awk这三个强大的文本处理工具。它们被用户们亲切地称为文本处理的“三剑客”。如今，随着技术的发展，Windows用户也可以轻松地在自己的系统上...
linux三剑客grep、sed、awk
qq_49041944的博客
02-27 1128
^d/{sum+=$5} END{print "total size is:",int(sum/1024),"KB"}' //int是取整的意思。{print $1} //效果与awk -F":" '{print $1}'相同,只是分隔符使用FS在代码自身中指定。awk 'BEGIN{print "第1列","第2列"} {print $1,$2}' 1.sh。awk '{print NF}' 1.sh 输出每行有多少字段。
【Linux-三剑客grep/sed/awk】
sinat_23896491的博客
03-07 1092
awk 命令的一些常见用法，用于处理结构化文本数据、计算、过滤、替换和输出。awk 是一个强大的文本处理工具，可以根据需要进行高度定制。sed 命令的一些常见用法，用于替换、删除、追加文本等文本编辑操作。sed 是一种强大的文本处理工具，可以根据需要进行高度定制。
Linux---进程概念（一）——冯诺依曼体系、操作系统、进程、PCB的概念讲解
2401_88465894的博客
11-22 835
本文系统阐述了计算机系统的核心概念。首先介绍了冯诺依曼体系结构，包括五大组件（输入设备、存储器、运算器、控制器、输出设备）及其协作关系，重点解释了内存作为CPU与磁盘间缓冲的重要性。其次深入剖析了操作系统的本质，即通过"先描述再组织"的方式管理软硬件资源，将管理对象抽象为数据结构进行操作。然后详细讲解了进程概念，指出进程由内存中的程序代码/数据和PCB（进程控制块）共同构成，并阐述了进程调度中上下文切换的机制。最后说明了进程标识符的获取方式，强调用户程序必须通过系统调用访问内核数据结构。
使用 nethogs 和 nload 进行 Linux 网络监控
Zsr1023的博客
11-22 106
特性nethogsnload监控对象进程网络接口核心问题谁在占用带宽流量总体多大，趋势如何优势精确定位到问题进程直观显示总体流量和速率变化关系微观，深入进程内部宏观，把握整体状况。
【Linux】make 与 makefile 实现自动化构建
L_0907的博客
11-24 466
本篇文章主要介绍 Linux 中 make 工具与 makefile 来实现自动化构建
设计模式之原型模式在 C 语言中的应用（含 Linux 内核实例）
鹰之翔
11-24 99
原型模式是一种创建型设计模式，通过复制已有对象（原型）来创建新对象，避免重复初始化。C语言实现时，使用结构体封装原型对象，通过函数指针定义克隆接口，支持浅克隆和深克隆。 示例1展示了用户对象的基础克隆，复制ID、姓名等属性。示例2演示了含动态内存属性的深克隆，确保复制指针指向的内容而非仅指针本身。原型模式适用于复杂对象初始化或批量创建相似对象场景，提高效率并保持一致性。 关键点： 原型模式解耦对象创建与实现 C语言通过结构体和函数指针实现 区分浅克隆（基础属性）和深克隆（动态内存） 适用于资源密集型对象的创
Linux 软件包管理教程
最新发布
2403_88102829的博客
11-24 537
Rocky Linux8 -YUM/DNF包管理列出所有启用的仓库列出所有仓库，包括禁用的配置仓库添加 EPEL 仓库启用或禁用仓库 dnf config-manager -- (disable/enable) repository-name软件包搜索和查询搜索软件包:查看软件包详细信息列出所有可安装的包:列出已安装的包:查找提供特定文件的包:查看包的依赖关系软件包安装安装单个软件包安装多个软件包从本地rpm文件安装重新安装软件包安装软件包组列出可用的组。
【Linux 网络基础】网络通信中的组播与广播：基础概念、原理、抓包与应用
love131452098的博客
11-24 836
摘要： 组播（Multicast）和广播（Broadcast）是网络通信中两种重要的数据传输机制。组播面向特定订阅组（IPv4 224.0.0.0/4，IPv6 ff00::/8），通过IGMP/PIM协议实现成员管理和路由分发，适用于视频会议、股票行情推送等场景；广播则在同一二层域内泛洪（MAC ff:ff:ff:ff:ff:ff），用于ARP、DHCP等协议。关键配置包括交换机IGMP Snooping、路由器PIM-SSM/Storm Control，并需注意TTL、防火墙策略。常见问题包括组播丢包（
Linux三剑客awk sed grep详解与实战
本文档详细介绍了Linux三剑客awk、sed和grep的基本概念、语法和高级用法，帮助读者理解和掌握如何有效地在Linux环境中利用这些工具进行文本处理和数据挖掘。通过学习和实践，用户可以大大提高工作效率和文本分析能力...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

atomLg

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值