linux中三剑客之一sed命令的运用

简介

关于linux的三剑客分别为grep，sed，awk；个人建议在学三剑客前学习一下正则

这里讲解sed命令

sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。

sed 的方式可以用任意符号分割，我们常用的分割符为\,/,#，但由于\和/符号写得时候偶尔会触及一些特殊意义，以免冲突就会用#。在不冲突的情况下，个人喜欢用/，#有点不清晰

语法

[] 中的非必要填写

sed  [选项]   '/[正则表达式]/ 匹配模式 /[正则表达式]/[内容]/ 匹配模式 '   文件

具体看下面操作

选项

-e	允许多重调用匹配模式
-n	只输出匹配到的行内容
-r	允许使用扩展正则表达式，例如| & !
-i	默认不能改变源文件，-i可以改变源文件，一般在使用s查找替换的时候使用，来修改配置文件

匹配模式

p	打印输出内容
I 大写的i	忽略大小写
a	指定行后添加新行内容
i	指定行前添加新行内容
d	指定行删除
s	指定行替换内容

样式

样式分为两种：一种按行操作，一种按条件操作

以f1文件为例子，进行案例演示。

f1文件内容

k1 k2 k3 k4
k2 k3 k4 k5
k3 k4 k5 k6

按行操作

1. 打印f1文件的第一行

[root@master test2]# sed -n '1p' f1
k1 k2 k3 k4

2. 打印f1文件的1到3行之间行的内容

[root@master test2]# sed -n '1,3p' f1
k1 k2 k3 k4
k2 k3 k4 k5
k3 k4 k5 k6
 

3. 打印f1文件的第一行和第三行

[root@master test2]# sed -n '1p;3p' f1
k1 k2 k3 k4
k3 k4 k5 k6
 

4. 在f1文件的第一行后，添加新行kk内容，并打印输出

[root@master test2]# sed  '1a kk' f1
k1 k2 k3 k4
kk
k2 k3 k4 k5
k3 k4 k5 k6
 

5. 在f1文件的第一行前，添加新行kk内容，并打印输出

[root@master test2]# sed  '1i kk' f1
kk
k1 k2 k3 k4
k2 k3 k4 k5
k3 k4 k5 k6
 

6. 将f1文件的第一行删除

[root@master test2]# sed  '1d' f1
k2 k3 k4 k5
k3 k4 k5 k6
 

7. 将f1文件的第一行内容中，第一个k替换为c，并打印输出

[root@master test2]# sed -n '1s/k/c/p' f1 
c1 k2 k3 k4
解析：p为匹配模式中的打印输出，s为查找替换，1为行号，/k/为需要替换的内容，/c/为替换的内容，默认只替换匹配到行中的第一个

8. 将f1文件的第一行中所有的k替换为c，并忽略大小写，打印输出，改变源文件

[root@master test2]# sed -in 's/k/c/Igp' f1 
c1 c2 c3 c4
c2 c3 c4 c5
c3 c4 c5 c6
解析：-i 选项改变源文件，I在匹配模式中为忽略大小写，g在匹配模式中为全局

9. 在f1文件末尾添加kk内容

[root@master test2]# sed '$a kk' f1
k1 k2 k3 k4
k2 k3 k4 k5
k3 k4 k5 k6
kk
解析：$a为末尾行后添加，$s为末尾行查找替换，$d为删除末尾行.......

按条件操作

1. 打印包含k1的行

[root@master test2]# sed -n '/k1/p' f1
k1 k2 k3 k4
 

2. 打印f1文件以k1为首的行，一直到k3为首的行为止

[root@master test2]# sed -n '/^k1/,/^k3/p' f1
k1 k2 k3 k4
k2 k3 k4 k5
k3 k4 k5 k6
 

3. 打印f1文件以k1为首的行和k3为首的行

[root@master test2]# sed -n '/^k1/p;/^k3/p' f1
k1 k2 k3 k4
k3 k4 k5 k6
 

4. 在f1文件中包含k2的行后，添加一行内容kk的行

[root@master test2]# sed  '/k2/a kk' f1
k1 k2 k3 k4
kk
k2 k3 k4 k5
kk
k3 k4 k5 k6
 

5. 在f1文件中包含k2的行前，添加一行内容kk的行

[root@master test2]# sed  '/k2/i kk' f1
kk
k1 k2 k3 k4
kk
k2 k3 k4 k5
k3 k4 k5 k6
 

6. 删除f1文件中以k1为首的行

[root@master test2]# sed '/^k1/d' f1
k2 k3 k4 k5
k3 k4 k5 k6
 

7. 匹配f1文件中以k2为首的行中，第一个匹配到的k转换为c

[root@master test2]# sed '/^k2/ s/k/c/' f1
k1 k2 k3 k4
c2 k3 k4 k5
k3 k4 k5 k6
 

8. 匹配f1文件中以k1为首的行中，匹配到的所有k转换为c，并改变源文件

sed -i '/^k1/ s/k/c/g' f1

特殊复杂一点的案例

1. 在/etc/ssh/sshd_config中过滤出包含permitrootlogin或usedns的行,忽略大小写

[root@master test2]# sed -nr '/permitrootlogin|usedns/Ip'  /etc/ssh/sshd_config 
#PermitRootLogin yes
# the setting of "PermitRootLogin without-password".
#UseDNS yes
 

2. 打印/etc/passwd中以bash结尾的行

[root@master test2]#  sed -nr '/bash$/p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
liu:x:1000:1000:liu:/home/liu:/bin/bash
yun:x:1001:1004::/home/yun:/bin/bash
peng:x:1002:1005::/home/peng:/bin/bash
harry:x:1003:1006::/home/harry:/bin/bash
u5:x:1008:1011::/home/u5:/bin/bash
u6:x:1009:1012::/home/u6:/bin/bash
u1:x:1010:1010::/home/u1:/bin/bash
u2:x:1011:1013::/home/u2:/bin/bash
u3:x:1012:1014::/home/u3:/bin/bash
u4:x:1013:1015::/home/u4:/bin/bash
nginxuser1:x:1014:1016::/home/nginxuser1:/bin/bash
 

3. 打印不包含root的行,/etc/passwd文件

[root@master test2]# sed -nr '/root/!p' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
..................

4. 使用sed命令打印/boot分区的磁盘利用率

[root@master test2]#  df -Th |sed -nr '/boot$/s/.* ([0-9]{1,3}%).*/\1/p'
14%
 

5. 注释指定行

[root@master test2]# seq 5 |sed -r '/^3|^4/s/^/#/' 
1
2
#3
#4
5

6. 注释匹配行后的多少行

[root@master test2]# sed '/5/,+3s/^/#/' f1
k1 k2 k3 k4
#k2 k3 k4 k5
#k3 k4 k5 k6
 

个人理解：

与awk对比会发现，两者的区别：
sed适合于对数据内容的添加，删除，替换
awk适合于对数据内容的检索