Shell脚本五：sed，awk

一，sed

sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作；在命令行就可以对文本进行操作，而不需要想vi一样要进入内才操作。处理后的文本内容会输出到控制窗口，对实际文本没有影响。
格式：

sed [-nef] '[动作]' [输入文本]

常用选项：
-n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e∶直接在指令列模式上进行 sed 的动作编辑，可以指定多个动作，用分号隔开
-f∶直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的sed 动作；
-r∶sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
-i∶直接修改读取的档案内容，而不是由萤幕输出。

常用命令：
a ∶新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c ∶取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d ∶删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ∶插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p ∶列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作，sed -n ‘3p’ 只打印第3行
s ∶取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g

显示某行：-n一般与命令p 一起使用
[root@localhost ruby] # sed -n '1p' c.txt           #显示第一行 
[root@localhost ruby] # sed -n '$p' c.txt           #显示最后一行
[root@localhost ruby] # sed -n '1,2p' c.txt         #显示第一行到第二行
[root@localhost ruby] # sed -n '2,$p' c.txt        #显示第二行到最后一行

使用模式进行查询
[root@localhost ruby] # sed -n '/ruby/p' c.txt    #查询包括关键字ruby所在所有行
[root@localhost ruby] # sed -n '/\$/p' c.txt  #查询包括关键字$所在所有行，使用反斜线\屏蔽特殊含义

删除某行:d 注意，这里输出到窗口的是删除后的内容
[root@localhost ruby] # sed '1d' c.txt              #删除第一行 
[root@localhost ruby] # sed '$d' c.txt             #删除最后一行
[root@localhost ruby] # sed '1,2d' c.txt           #删除第一行到第二行
[root@localhost ruby] # sed '2,$d' c.txt          #删除第二行到最后一行
[root@vm01 test]# sed '/AAA/d' c.txt	#删除带有AAA字符串的

新增 a
[root@localhost ruby] # sed '1a drink tea' c.txt  #第一行后增加字符串"drink tea"
[root@localhost ruby] # sed '1,3a drink tea' c.txt #第一行到第三行后增加字符串"drink tea"
[root@localhost ruby] # sed '1a drink tea\nor coffee' c.txt   #第一行后增加多行，使用换行符\n

取代c
[root@localhost ruby] # sed '1c Hi' c.txt                #第一行代替为Hi
[root@localhost ruby] # sed '1,2c Hi' c.txt             #第一行到第二行代替为Hi

替换s：
格式：sed 's/要替换的字符串/新的字符串/g'   （要替换的字符串可以用正则表达式）
[root@localhost ruby] # sed -n '/ruby/p' c.txt | sed 's/ruby/bird/g'    #替换ruby为bird
[root@localhost ruby] # sed -n '/ruby/p' c.txt| sed 's/ruby//g'        #删除ruby

插入i：
向sed.log插入一个，用aa替换a之后的字符串
[root@hadoop001 shell]# sed -i 's/a/aa/' sed.log 
[root@hadoop001 shell]#sed -i "s/^/uuu&/g" sed.log  #在行首添加uuu字符串
[root@hadoop001 shell]# sed -i "s/$/&uuu/g" sed.log   #在行尾添加uuu字符串

二，awk

一些特点：

1）通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。
2）可以定义变量来保存数据，如$0代表整个文本行；$1代表文本行的第一列数据；$2代表文本行的第二列数据；以此类推$n代表文本行的第n列数据。
3）和sed一样，不会改变原始文本的数据
4）格式：

awk '{pattern + action}' {filenames}

pattern 表示 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。执行的命令必须要有一对花括号（{}）； pattern要表示的正则表达式，用斜杠括起来。

awk内置变量

FIELDWIDTHS：由空格分隔的一列数字，定义了每列字段的长度
**FS**             设置输入域分隔符，等价于命令行 -F选项
**OFS**            输出域分隔符
RS：	输入记录分隔符
ORS：	输出记录分隔符
NR：已处理的输入记录数
NF：数据文件中的字段总数

awk选项

-F ERE：定义字段分隔符
-f progfile：指定awk脚本
-v assignment：定义awk变量

显示/etc/passwd的账户
#cat /etc/passwd |awk  -F ':'  '{print $1}'  

显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割
#cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'

显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,
而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"。
#cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'

搜索/etc/passwd有root关键字的所有行
#awk -F: '/root/' /etc/passwd

按照分隔符逗号读取，输出用“-”分隔符，输出第1、2、3列数据
# awk 'BEGIN{FS=","; OFS="-"} {print $1,$2,$3}' d.txt
zhangsan-dba-28
lisi-dba-30

把一串数字分隔成4列，第一列长度3，第二列长度5，第三列长度2，第四列长度5
#awk 'BEGIN{FIELDWIDTHS="3 5 2 5"} {print $1,$2,$3,$4}' d.txt
100 5.324 75 96.37

从第二行开始，输出第三列的数据
#awk -F "," 'NR>1{print $3}' d.txt