文本处理三剑客之sed

1.sed 工作原理

sed 即 Stream EDitor ，和 vi 不同， sed 是行编辑器

Sed是从文件或管道中读取一行，处理一行，输出一行；再读取一行，再处理一行，再输出一行，直到 最后一行。每当处理一行时，把当前处理的行存储在临时缓冲区中，称为 模式空间（ Pattern

Space ） ，接着用 sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下 一行，这样不断重复，直到文件末尾。一次处理一行的设计模式使得 sed 性能很高， sed在读取大文件时 不会出现卡顿的现象。如果使用 vi 命令打开几十 M 上百 M的文件，明显会出现有卡顿的现象，这是因为 vi 命令打开文件是一次性将文件加载到内存，然后再打开。 Sed就避免了这种情况，一行一行的处理， 打开速度非常快，执行速度也很快

2.sed 基本用法

格式：

sed [option]... 'script;script;...' [inputfile...]

常用选项

-n 不输出模式空间内容到屏幕，即不自动打印

-e 多点编辑

-f FILE 从指定文件中读取编辑脚本

-r , -E 使用扩展正则表达式

-i .bak 备份文件并原处编辑

-s           将多个文件视为独立文件，而不是单个连续的长文件流

# 说明 :

-ir 不支持

-i -r 支持

-ri   支持

-ni   会清空文件

 script格式：

' 地址命令

地址格式：

1. 不给地址：对全文进行处理

2. 单地址：

  # ：指定的行， $ ：最后一行

  /pattern/ ：被此处模式所能够匹配到的每一行

3. 地址范围：

  #,#     # 从 # 行到第 # 行， 3 ， 6 从第 3 行到第 6 行

  #,+#   # 从 # 行到 +# 行， 3,+4 表示从 3 行到第 7 行

  /pat1/,/pat2/

  #,/pat/

  /pat/,#

4. 步进： ~

    1~2 奇数行

    2~2 偶数行

命令：

p 打印当前模式空间内容，追加到默认输出之后

Ip 忽略大小写输出

d 删除模式空间匹配的行，并立即启用下一轮循环

a [\]text 在指定行后面追加文本，支持使用 \n 实现多行追加

i [\]text 在行前面插入文本

c [\]text 替换行为单行或多行文本

w file 保存模式匹配的行至指定文件

r file 读取指定文件的文本至模式空间中匹配到的行后

= 为模式空间中的行打印行号

! 模式空间中匹配行取反处理

q           结束或退出 sed

 

查找替代

s/pattern/string/ 修饰符 查找替换 , 支持使用其它分隔符，可以是其它形式： s@@@ ， s###

替换修饰符：

g 行内全局替换

p 显示替换成功的行

w   /PATH/FILE 将替换成功的行保存至文件中

I,i   忽略大小写

 

范例: 获取分区利用率

[root@centos8 ~]#df | sed -En '/^\/dev\/sd/s@.* ([0-9]+)%.*@\1@p'
3
31
13

 范例：取IP 地址

[root@centos8 ~]#ifconfig eth0 |sed -nr "2s/[^0-9]+([0-9.]+).*/\1/p"  
10.0.0.8
[root@centos6 ~]#ifconfig eth0 | sed -En '2s/^[^0-9]+([0-9.]{7,15}).*/\1/p'
10.0.0.6
[root@centos8 ~]#ifconfig eth0 | sed -rn '2s/^[^0-9]+([0-9.]+) .*$/\1/p'
10.0.0.8
[root@centos8 ~]#ifconfig eth0 | sed -n '2s/^.*inet //p' | sed -n 's/ 
netmask.*//p'
10.0.0.8 
[root@centos8 ~]#ifconfig eth0 | sed -n '2s/^.*inet //;s/ netmask.*//p'
10.0.0.8 
[root@centos8 ~]#ifconfig eth0 | sed -rn '2s/(.*inet )([0-9].*)( 
netmask.*)/\2/p' 
10.0.0.8

3.sed 高级用法 

sed 中除了模式空间，还另外还支持保持空间（ Hold Space ） , 利用此空间，可以将模式空间中的数

据，临时保存至保持空间，从而后续接着处理，实现更为强大的功能。

常见的高级命令

P 打印模式空间开端至 \n 内容，并追加到默认输出之前

h 把模式空间中的内容覆盖至保持空间中

H 把模式空间中的内容追加至保持空间中

g 从保持空间取出数据覆盖至模式空间

G 从保持空间取出内容追加至模式空间

x 把模式空间中的内容与保持空间中的内容进行互换

n 读取匹配到的行的下一行覆盖至模式空间

N 读取匹配到的行的下一行追加至模式空间

d 删除模式空间中的行

D 如果模式空间包含换行符，则删除直到第一个换行符的模式空间中的文本，并不会读取新的输入行，而使

用合成的模式空间重新启动循环。如果模式空间不包含换行符，则会像发出 d 命令那样启动正常的新循环

范例: 打印偶数行

[root@centos8 ~]#seq 10 | sed -n 'n;p'
2
4
6
8
10
[root@centos8 ~]#seq 10 | sed -n '2~2p'
2
4
6
8
10
[root@centos8 ~]#seq 10 | sed '1~2d'
2
4
6
8
10
[root@centos8 ~]#seq 10 | sed -n '1~2!p'
2
4
6
8
10