【LinuxShell】Shell编程之sed与awk

---

一、sed编辑器

1.sed编辑器概念

  sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。

  sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要么存储一个命令文本文件中。

2.sed编辑器工作流程

  sed 的工作流程主要包括读取、执行和显示三个过程：

    读取：sed从输入流（文件、管道、标准输入〉中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space)。
    执行：默认情况下，所有的sed命令都在模式空间中顺序地执行，除非指定了行的地址，否则临时sed命令将会在所有的行上依次执行。
    显示：发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。

  在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。

  注意：默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出。

处理大文件较卡问题

  流编辑器处理大文件比较卡可以使用两种方式来处理。sped命令将大文件分成若干个小文件读取。或者使用cat命令读取全部文件放在临时缓冲区中，然后交给流编辑器（grep、sed、awk）进行处理，由于使用car命令时IO消耗比较低。

3.sed编辑器用法

命令格式

sed -e '操作' 文件l 文件2 ...
sed -n -e '操作' 文件1 文件2 ...
sed -f 脚本文件 文件1 文件2 ...
sed -i -e '操作' 文件1 文件2 ...

sed -e 'n{				#n意为：指定行
操作l
操作2
...
}' 文件1 文件2 ...

常用选项

选项	含义
-e或--expression=	表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令使用。
-f或--file=	表示用指定的脚本文件来处理输入的文本文件。
-h或--help	显示帮助。
-n、--quiet或silent	禁止sed编辑器输出，但可以与p命令一起使用完成输出。
-i	直接修改目标文本文件。

常用操作

操作	含义
s	替换，替换指定字符。
d	删除，删除选定的行。
a	增加，在当前行下面增加一行指定内容。
i	插入，在选定行上面插入一行指定内容。
c	替换，将选定行替换为指定内容。
y	字符转换，转换前后的字符长度必须相同。
p	打印，如果同时指定行，表示打印指定行;如果不指定行，则表示打印所有内容，如果有非打印字符，则以ASCII码输出。其通常与-n选项一起使用。
=	打印行号。
l(小写L)	打印数据流中的文本和不可打印的AscII字符（比如结束符$、制表符\t)

常用方式

打印内容

[root@localhost ~]# sed -n -e 'p' testfile1			#打印内容

[root@localhost ~]# sed -n -e '=' testfile1			#打印行号

[root@localhost ~]# sed -n -e 'l' testfile1			#打印隐藏特殊符号

[root@localhost ~]# sed -n -e '=;p' testfile1		#打印行号和内容
[root@localhost ~]# sed -n -e '=' -e 'p'testfile1	#打印行号和内容

sed编辑器的寻址方式

• 以数字形式表示行区间
• 用文本模式来过滤出行

[root@localhost ~]# sed -n '1p' testfile1					#打印第1行

[root@localhost ~]# sed -n '$p' testfile1					#打印最后一行

[root@localhost ~]# sed -n '1,3p' testfile1					#打印1到3行

[root@localhost ~]# sed -n '3,$p' testfile1					#从第3行开始打印，直到最后一行结束

[root@localhost ~]# sed -n '1,+3p' testfile1				#打印第1行之后的连续3行，即1-4行

[root@localhost ~]# sed '5q' testfile1						#打印前5行信息后退出，q表示退出

[root@localhost ~]# sed -n 'p;n' testfile1					#打印奇数行，n表示移动到下一行
[root@localhost ~]# sed -n '3{p;n;n;p}' testfile1			#打印第3，5行

[root@localhost ~]# sed -n 'n;p' testfile1					#打印偶数行
	

[root@localhost ~]# sed -n '2,${n;p}' testfile1				#从第2行开始，从下一行开始打印，即第3、5、7行

[root@localhost ~]# sed -n '/user/p' /etc/passwd			#打印包含user的行

[root@localhost ~]# sed -n '/^a/p' /etc/passwd				#打印以a开头的行

[root@localhost ~]# sed -n '/bath$/p' t/etc/passwd			#打印以bath结尾的行

[root@localhost ~]# sed -n '/ftp\|root/p' /etc/passwd		#打印含有ftp或者root的行
[root@localhost ~]# sed -nr '/ftp|root/p' /etc/passwd		#-r表示支持扩展正则表达式

[root@localhost ~]# sed -n '2,/nobody/p' /etc/passwd		#打印从第2行开始，直到第一个包含nobody的行结束

[root@localhost ~]# sed -n '2,/nobody/=' /etc/passwd		#打印从第2行开始，直到第一个包含nobody的行结束的行号

[root@localhost ~]# sed -nr '/ro{1,}t/p' /etc/passwd		#打印包含root的行，root中o的个数可以是1个以上

删除行内容

[root@localhost ~]# sed 'd' testfile1						#全删

[root@localhost ~]# sed '3d' testfile1						#删除第3行

[root@localhost ~]# sed '2,4d' testfile1					#删除第2到4行

[root@localhost ~]# sed '$d' testfile1						#删除最后一行

[root@localhost ~]# sed '/^$/d' testfile1					#删除空行

[root@localhost ~]# sed '/nologin$/d' /etc/passwd			#删除以nologin结尾的文件

[root@l