文本三剑客之sed编辑器

文本三剑客：都是按行读取后处理。

• grep 过滤行内容。
• awk 过滤字段。
• sed 过滤行内容；修改行内容。

 sed编辑器

sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。

sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要么存储在一个命令文本文件中。

sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等

sed的工作流程

sed的工作流程主要包括读取、执行和显示三个过程：

• 读取： sed从输入流 (文件、管道、标准输入) 中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space )。
• 执行： 默认情况下，所有的sed命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行。
• 显示： 发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。在所有的文件内容都被处理完成之前，上述过程将重复执行， 直至所有内容被处理完。

在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。

注意：默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非使用"sed -i"修改源文件、或使用重定向输出到新的文件中。

sed命令格式

 sed -e '操作' 文件1 文件2
 sed -n -e '操作' 文件1 文件2
 sed -f  脚本文件  文件1 文件2
 sed -i -e '操作' 文件1 文件2

执行多条命令的三种方法

 sed -n -e '操作1' -e '操作2' 文件
 ​
 sed -n -e '操作1;操作2' 文件
 ​
 sed -e 'n{
 操作1
 操作2
 ......
 }' 文件1

常用选项：

选项	作用
-e 或--expression=	表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令使用
-f 或--file=	表示用指定的脚本文件来处理输入的文本文件
-h 或--help	显示帮助
-n、--quiet或--silent	禁止sed编辑器输出，但可以与p命令一起使用完成输出
-i	直接修改目标文本文件

常用操作：

操作	作用
s	替换，替换指定字符
d	删除，删除选定的行
a	增加，在当前行下方增加一行指定内容
i	插入，在选定行上方插入一行指定内容
c	替换，将选定行替换为指定内容
y	字符转换，转换前后的字符长度必须相同
p	打印行内容。如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以ASCII码输出。其通常与"-n"选项一起使用
=	打印行号
l (小写L)	打印数据流中的文本和不可打印的ASCII字符（比如结束符$、制表符\t）

sed的核心功能：增删改查（可配合正则表达式）

 查： p
 ​
 删： d
 ​
 改： s（字符串替换）、c（整行替换）、y（对应字符进行替换，效果类似tr命令）
 ​
 增： i（在行前插入内容）、a（在行后添加内容）、r（在行后读入文件的内容）
 ​
 复制粘贴：H（复制）、d（删除）、G（粘贴到指定行下方）

 sed 查找打印p

4.1 不指定行（顺序处理每一行）

1、sed编辑器默认输出行内容，-n选项可以禁止输出。如果不加-n，却使用p操作，那么每行内容会打印两次。

sed -e "p" ：每行内容打印两次。

sed -n "p" ：每行内容只打印一次。

 [root@yuji ~]# cat ff.txt    //查看文件内容，共10行
 one
 two
 three
 four
 five
 six
 seven
 eight
 nine
 ten
 [root@yuji ~]# sed -e 'p' ff.txt     //每行内容会打印两次
 one
 one
 two
 two
 three
 three
 four
 four
 five
 five
 six
 six
 seven
 seven
 eight
 eight
 nine
 nine
 ten
 ten
 [root@yuji ~]# sed -n -e 'p' ff.txt    //每行内容只打印一次
 one
 two
 three
 four
 five
 six
 seven
 eight
 nine
 ten

2、'n' 打印行号。

sed -n '=' ：只打印行号。

sed -e 'n' : 打印行号和行内容。

sed -n '=;p' ：打印行号和行内容。

[root@yuji ~]# sed -e '=' ff.txt     //打印行号和行内容
 1
 one
 2
 two
 3
 three
 4
 four
 5
 five
 6
 six
 7
 seven
 8
 eight
 9
 nine
 10
 ten

sed 执行多条命令的三种方法。

以打印行号和行内容为例：

#方法一
 sed -n -e '=' -e 'p'  file.txt
 ​
 #方法二
 sed -n -e '=;p'  file.txt
 ​
 #方法三：换行操作
 sed -n '
 =
 p
 ' file.txt

'l' 打印文本即隐藏字符（结束符$，制表符\t）。

 [root@yuji ~]# sed -n 'l' ff.txt
 one$
 two$
 three$
 four$
 five$
 six$
 seven$
 eight$
 nine$
 ten$

sed 对指定行进行操作

两种方法：

1. 以数字形式表示行区间；
2. 用文本模式（字符串）来过滤出行（一般结合正则表达式）。

以数字形式表示行区间：

操作	含义
'1p'	打印第一行
'$p'	打印最后一行
'1,3p'	打印连续行，打印第一行到第三行
'6,$p'	打印第六行到最后一行
'1,+3p'	打印第一行加后面三行（即打印第一到第四行）
'5q'	打印前五行后退出
'p;n'	打印奇数行
'n;p'	打印偶数行

使用字符串匹配出行：

操作	含义
'/root/p'	打印包含root的行
'/root/!p'	打印不包含root的行。! 表示取反
'/^root/p'	打印以root开头的行
'/bash$/'	打印以bash结尾的行
'/root l bash/p'	打印包含root或bash的行。"l"是扩展正则表达式的元字符，要使用sed -r
'6,/root/p'	打印第6行到第一个包含root的行

使用正则表达式，匹配行内容

先将/etc/passwd 文件复制到家目录下并改名为pass.txt，方便演示

[root@yuji ~]# cp /etc/passwd pass.txt        //复制文件并改名
[root@yuji ~]# sed -n '/root/p' pass.txt      //打印包含root的行
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@yuji ~]# sed -n '/^root/p' pass.txt      //打印以root开头的行
root:x:0:0:root:/root:/bin/bash
[root@yuji ~]# sed -n '/bash$/p' pass.txt      //打印以bash结尾的行
root:x:0:0:root:/root:/bin/bash
yuji2:x:1000:1000:yuji2:/home/yuji2:/bin/bash
nancy:x:1021:1021::/home/nancy:/bin/bash
helen:x:1022:1022::/home/helen:/bin/bash

[root@yuji ~]# sed -n '6,/root/p' pass.txt    //从第6行开始打印，一直到第一个包含root的行
 sync:x:5:0:sync:/sbin:/bin/sync
 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
 halt:x:7:0:halt:/sbin:/sbin/halt
 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
 operator:x:11:0:operator:/root:/sbin/nologin
 [root@yuji ~]# sed -n '6,/root/=' pass.txt    //从从第6行开始打印行号，一直到第一个包含root的行
 6
 7
 8
 9
 10

sed -r 支持扩展正则表达式。同时在 使用{n}、{n,}、{n,m}时，括号{}前不需要加反斜杠\ 。

 [root@yuji ~]# sed -n '/ro{2,}t/p' pass.txt
 root:x:0:0:root:/root:/bin/bash
 operator:x:11:0:operator:/root:/sbin/nologin
 [root@yuji ~]# sed -n -r '/ro{2,}t/p' pass.txt
 root:x:0:0:root:/root:/bin/bash
 operator:x:11:0:operator:/root:/sbin/nologin
 ​
 #打印包含root或bash的行
 [root@yuji ~]# sed -n  '/root|bash/p' pass.txt     //如果不加-r，则"|"前要加转义符\
 root:x:0:0:root:/root:/bin/bash
 operator:x:11:0:operator:/root:/sbin/nologin
 yuji2:x:1000:1000:yuji2:/home/yuji2:/bin/bash
 nancy:x:1021:1021::/home/nancy:/bin/bash
 helen:x:1022:1022::/home/helen:/bin/bash
 [root@yuji ~]# sed -n -r '/root|bash/p' pass.txt   //"sed -r"支持扩展正则表达式
 root:x:0:0:root:/root:/bin/bash
 operator:x:11:0:operator:/root:/sbin/nologin
 yuji2:x:1000:1000:yuji2:/home/yuji2:/bin/bash
 nancy:x:1021:1021::/home/nancy:/bin/bash
 helen:x:1022:1022::/home/helen:/bin/bash

通过字符串匹配出想要的行

[root@yuji ~]# sed '/e$/d' ff.txt    //删除以e结尾的行
 two
 four
 six
 seven
 eight
 ten
 [root@yuji ~]# sed '/e$/!d' ff.txt   //除了以e结尾的行，其他行都删除
 one
 three
 five

'/字符串1/,/字符串2/d' ：从第一个匹配的位置打开删除功能，到第二个匹配的位置删完后关闭删除功能。之后继续按这个规则向下查找删除。

[root@yuji ~]# cat 2.txt
 111
 222
 333
 444
 555
 111
 222
 333
 444
 555
 [root@yuji ~]# sed '/2/,/4/d' 2.txt  
 111
 555
 111
 555
 [root@yuji ~]# sed '/1/,/3/d' 2.txt
 444
 555
 444
 555

删除空行并保存：sed -i '/^$/d' file.txt （使用-i前先备份目标文件）

 [root@yuji ~]# cat file.txt
 11
 ​
 22
 ​
 33
 [root@yuji ~]# sed -i '/^$/d' file.txt
 [root@yuji ~]# cat file.txt
 11
 22
 33

删除空行的三种方法：

1. grep -v "^$" file.txt //过滤出非空行
2. cat file.txt |tr -s "\n" //压缩换行符
3. sed '/^$/d' file.txt //删除空行

sed 修改替换s c y

s：替换字符串

c：整行替换

y：字符替换，替换前后的字符串长度必须相同

 行范围 s/旧字符串/新字符串/替换标记
 ​
 #4种替换标记：
 数字：表明新字符串将替换第几处匹配的地方
 g：表面新字符串将会替换所有匹配的地方
 p：打印与替换命令匹配的行，与-n一起使用
 w 文件：将替换的结果写入文件中

[root@yuji ~]# sed -n '/root/p' pass.txt        //打印所有包含root的行
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@yuji ~]# sed -n 's/root/aaa/p' pass.txt       //将匹配行的第1个root替换成aaa
aaa:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/aaa:/sbin/nologin
[root@yuji ~]# sed -n 's/root/aaa/2p' pass.txt      //将匹配行的第2个root替换成aaa
root:x:0:0:aaa:/root:/bin/bash
[root@yuji ~]# sed -n 's/root/aaa/3p' pass.txt      //将匹配行的第3个root替换成aaa
root:x:0:0:root:/aaa:/bin/bash
[root@yuji ~]# sed -n 's/root/aaa/gp' pass.txt      //将匹配行的所有root替换成aaa
aaa:x:0:0:aaa:/aaa:/bin/bash
operator:x:11:0:operator:/aaa:/sbin/nologin

 [root@yuji ~]# sed -n 's/root//gp' pass.txt      //删除匹配行当所有root
 :x:0:0::/:/bin/bash
 operator:x:11:0:operator:/:/sbin/nologin
 [root@yuji ~]# echo 000010101 | sed 's/^0*//'    //删除开头所有的0
 10101

 [root@yuji ~]# sed -n 's/root//gp' pass.txt //删除匹配行当所有root  :x:0:0::/:/bin/bash  operator:x:11:0:operator:/:/sbin/nologin  [root@yuji ~]# echo 000010101 | sed 's/^0*//'

//删除开头所有的0  10101

[root@yuji ~]# sed -n '/^root/p' pass.txt     //打印所有以root开头的行
 root:x:0:0:root:/root:/bin/bash
 [root@yuji ~]# sed -n '/^root/ s/^/#/p' pass.txt     //过滤出以root开头的行，在行首加上#
 #root:x:0:0:root:/root:/bin/bash
 ​
 [root@yuji ~]# sed -n '/root/p' pass.txt            //打印包含root的行
 root:x:0:0:root:/root:/bin/bash
 operator:x:11:0:operator:/root:/sbin/nologin
 [root@yuji ~]# sed -n '/root/ s/$/#/p' pass.txt     //在包含root的行的行尾加上#
 root:x:0:0:root:/root:/bin/bash#
 operator:x:11:0:operator:/root:/sbin/nologin#

另一种替换方式

将包含root内容的行进行注释：

用正则表达式匹配包含root的整行内容，之后在整行内容前加#。&代表前面使用正则表达式匹配到的整行内容。

[root@yuji ~]# sed -n '/root/ s/^/#/p' pass.txt     //过滤出包含root的行，在行首加上#
 #root:x:0:0:root:/root:/bin/bash
 #operator:x:11:0:operator:/root:/sbin/nologin
 [root@yuji ~]# sed -n 's/.*root.*/#&/p' pass.txt
 #root:x:0:0:root:/root:/bin/bash
 #operator:x:11:0:operator:/root:/sbin/nologin

 [root@yuji ~]# vim 1.sh
 [root@yuji ~]# cat 1.sh
 /root/ s/^/#/p
 3,5 s/$/#/p
 ​
 [root@yuji ~]# sed -n -f 1.sh pass.txt       //指定1.sh文件来执行
 #root:x:0:0:root:/root:/bin/bash
 daemon:x:2:2:daemon:/sbin:/sbin/nologin#
 adm:x:3:4:adm:/var/adm:/sbin/nologin#
 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin#
 #operator:x:11:0:operator:/root:/sbin/nologin

：指定分隔符

当字符串中包含"/"时，需要在前面加上转义符\，避免和分隔符"/"混淆。这样操作非常麻烦，且容易眼花看错，此时可以自己指定分隔符。

s后面的第一个字符就是分隔符，3个分隔符要保持一致，如果遇到跟分隔符相同的字符需要使用 \ 转义成普通字符。

#默认分隔符为"/"
 [root@yuji ~]# sed -n 's//bin/bash//sbin/nologin/p' pass.txt
 root:x:0:0:root:/root:/sbin/nologin
 yuji2:x:1000:1000:yuji2:/home/yuji2:/sbin/nologin
 nancy:x:1021:1021::/home/nancy:/sbin/nologin
 helen:x:1022:1022::/home/helen:/sbin/nologin
 ​
 #指定#作为分割符
 [root@yuji ~]# sed -n 's#/bin/bash#/sbin/nologin#p' pass.txt
 root:x:0:0:root:/root:/sbin/nologin
 yuji2:x:1000:1000:yuji2:/home/yuji2:/sbin/nologin
 nancy:x:1021:1021::/home/nancy:/sbin/nologin
 helen:x:1022:1022::/home/helen:/sbin/nologin
 ​
 #指定!作为分隔符
 [root@yuji ~]# sed -n 's!/bin/bash!/sbin/nologin!p' pass.txt
 root:x:0:0:root:/root:/sbin/nologin
 yuji2:x:1000:1000:yuji2:/home/yuji2:/sbin/nologin
 nancy:x:1021:1021::/home/nancy:/sbin/nologin
 helen:x:1022:1022::/home/helen:/sbin/nologin
 ​
 #指定8作为分隔符
 [root@yuji ~]# sed -n 's8/bin/bash8/sbin/nologin8p' pass.txt
 root:x:0:0:root:/root:/sbin/nologin
 yuji2:x:1000:1000:yuji2:/home/yuji2:/sbin/nologin
 nancy:x:1021:1021::/home/nancy:/sbin/nologin
 helen:x:1022:1022::/home/helen:/sbin/nologin

[root@yuji ~]# cat ff.txt
 one
 two
 three
 four
 five
 six
 seven
 eight
 nine
 ten
 [root@yuji ~]# sed '/fo/c 22' ff.txt    //将包含fo的行，整体替换成22
 one
 two
 three
 22
 five
 six
 seven
 eight
 nine

单字符替换 y

使用y，是对单个字符进行替换，每个字符需要一一对应，不是整体替换。前后字符串长度需要一致，不然会报错。

示例：

遇到n替换成2，遇到o替换成5。

[root@yuji ~]# sed 'y/no/25/' ff.txt //遇到n替换成2，遇到o替换成5  52e  tw5  three  f5ur  five  six  seve2  eight  2i2e  te2  [root@yuji ~]# sed 'y/no/255/' ff.txt  sed：-e 表达式 #1，字符 9：“y”命令的字符串长度不同

sed 增加a i r

a：在行后添加内容

i：在行前插入内容

r：在行后读入文件内容

 [root@yuji ~]# sed '1,3a 22' ff.txt     //在第1~3行，每行下方添加一行内容
 one
 22
 two
 22
 three
 22
 four
 five
 six
 seven
 eight
 nine
 ten

 [root@yuji ~]# cat hh.txt
 hello world
 [root@yuji ~]# sed '6r hh.txt' ff.txt    //在第6行下方读入hh.txt文件内容
 one
 two
 three
 four
 five
 six
 hello world
 seven
 eight
 nine
 ten

复制粘贴

比较vi/vim编辑器和 sed编辑器

 #vi//vim编辑器：
 命令模式
 dd p  剪切 粘贴
 yy p  复制 粘贴
 
 末行模式
 :1,3 co 10  复制 粘贴（将第1~3行复制粘贴到第10行下方）
 :1,3 m 10   剪切 粘贴（将第1~3行剪切到第10行下方）
 ​
 #sed命令：
 H复制、d删除、G粘贴到指定行下方

[root@yuji ~]# sed '1,3 {H;d};$G' ff.txt     //将第1~3行剪切粘贴到最后一行下方
 four
 five
 six
 seven
 eight
 nine
 ten
 ​
 one
 two
 three
 [root@yuji ~]# sed '1,3 {H;d};5G' ff.txt     //将第1~3行剪切粘贴到第5行后面
 four
 five
 ​
 one
 two
 three
 six
 seven
 eight
 nine
 ten

文件内容中的字符串进行互换

 #将2个字符串交换位置
 [root@yuji ~]# echo 111222333
 111222333
 [root@yuji ~]# echo 111222333|sed -r 's/(111)(222)/\2\1/'
 222111333
 ​
 #将3个字符串交换位置
 [root@yuji ~]# echo 111222333|sed -r 's/(111)(222)(333)/\3\2\1/'
 333222111
 ​
 #将第一个字符和最后一个字符进行互换
 [root@yuji ~]# echo 111222333|sed -r 's/^(.)(.*)(.)$/\3\2\1/'
 311222331