linux下sed与awk的基本用法

sed:用来分析 Standard Input (STDIN) 的数据， 然后将数据经过处理后，再将他输

出到 standrad out (STDOUT) 的一个工具。 可以进行取代、删除、新增、撷取特定行

等等的功能。
[root@linux ~]# sed [-nefri] [动作]
 参数：
 -n  ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN
       的数据一般都会被列出到屏幕上。但如果加上 -n 参数后，则只有经过
       sed 特殊处理的那一行(或者动作)才会被列出来。
 -e  ：直接在指令列模式上进行 sed 的动作编辑；
 -f  ：直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内

的
       sed 动作；
 -r  ：sed 的动作支持的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
 -i  ：直接修改读取的档案内容，而不是由屏幕输出。
 动作说明：  [n1[,n2]]function
 n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动

作
          是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』
 function 有底下这些咚咚：
 a   ：新增， a 的后面可以接字符串，而这些字符串会在新的一行出现(目前的下一

行)～
 c   ：取代， c 的后面可以接字符串，这些字符串可以取代 n1,n2 之间的行！
 d   ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
 i   ：插入， i 的后面可以接字符串，而这些字符串会在新的一行出现(目前的上一

行)；
 p   ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运作～
 s   ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配
       正规表示法！例如 1,20s/old/new/g
示例：
范例一：将 /etc/passwd 的内容列出，并且我需要打印行号，同时，请将第 2~5 行删

除！
 [root@linux ~]# nl /etc/passwd |sed '2,5d'
      1  root:x:0:0:root:/root:/bin/bash
      6  sync:x:5:0:sync:/sbin:/bin/sync
      7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
 .....(后面省略).....
 #  2-5 行给他删除了，所以显示的数据中，没有了 2-5 行
 # 原本应该是要下达 sed -e 才对，没有 -e 也可
 # 同时也要注意的是， sed 后面接的动作，请务必以 '' 两个单引号括住
 # 而，如果只要删除第 2 行，可以使用 nl /etc/passwd | sed '2d' 来达成，
 # 至于第 3 到最后一行，则是 nl /etc/passwd | sed '3,$d' 
范例二：在第二行后(亦即是加在第三行)加上『test?』字样！
 [root@linux ~]# nl /etc/passwd |sed '2a test'
      1  root:x:0:0:root:/root:/bin/bash
      2  bin:x:1:1:bin:/bin:/sbin/nologin
 test
      3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
 # 在 a 后面加上的字符串就已将出现在第二行后面,那如果是要在第二行前呢？
 # nl /etc/passwd | sed '2i test' ，使用i参数
 范例三：在第二行后面加入两行字，例如『test or .....』『passd?』
 [root@linux ~]# nl /etc/passwd | sed '2a test or ......\
 > passd ?'
      1  root:x:0:0:root:/root:/bin/bash
      2  bin:x:1:1:bin:/bin:/sbin/nologin
 test or ......
 passd ?
      3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
 # 这个范例的重点是，我们可以新增不只一行,可以新增好几行～
 # 但是每一行之间都必须要以反斜线 \ 来进行新行的增加
 范例四：我想将第2-5行的内容取代成为『No 2-5 number』呢？
 [root@linux ~]# nl /etc/passwd | sed '2,5c No 2-5 number'
      1  root:x:0:0:root:/root:/bin/bash
 No 2-5 number
      6  sync:x:5:0:sync:/sbin:/bin/sync
 
 范例五：仅列出第 5-7 行
 [root@linux ~]# nl /etc/passwd | sed -n '5,7p'
      5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
      6  sync:x:5:0:sync:/sbin:/bin/sync
      7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
 # 如果不加 -n 的参数，5-7行会重复输出
 
 范例六：我们可以使用 ifconfig 来列出 IP ，若仅要 eth0 的 IP 时？
 [root@linux ~]# ifconfig eth0 | grep 'inet ' | sed 's/^.*addr://g' | \
 > sed 's/Bcast.*$//g'
 # 去头去尾之后，就会得到我们所需要的 IP 亦即是 192.168.1.12

 范例七：将 /etc/man.config 档案的内容中，有 MAN 的设定就取出来，但不要说明

内容。
 [root@linux ~]# cat /etc/man.config | grep 'MAN'| sed 's/#.*$//g' | \
 > sed '/^$/d'
 # 每一行当中，若有 # 表示该行为批注，但是要注意的是，有时候， 批注并不是写

在第一个字符，亦即是写在某个指令后方，如底下的模样：
 # 『shutdown -h now # 这个是关机的指令』，批注 # 就在指令的后方了。
 # 因此，我们才会使用到将 #.*$ 这个正规表示法！
 范例八：利用 sed 直接在 ~/.bashrc 最后一行加入『# This is a test』
 [root@linux ~]# sed -i '$a # This is a test'  ~/.bashrc
 # 上头的 -i 参数可以让你的 sed 直接去修改后面接的档案内容，而不是由屏幕输出

。至于那个 $a  则代表最后一行才新增的意思。

awk:倾向于一行当中分成数个『字段』来处理。 因此，awk 相当的适合处理小型的数

据数据处理.
[root@linux ~]# awk '条件类型1{动作1} 条件类型2{动作2} ...' filename awk 可

以处理后续接的档案，也可以读取来自前个指令的 standard output 。 但如前面说的

， awk 主要是处理『每一行的字段内的数据』，而预设的『字段的分隔符为 "空格键"

或 "[tab]键" 』！举例来说，我们用 last 可以将登入者的数据取出来， 结果如下所

示：
 [root@linux ~]#lastdmtsai   pts/0        192.168.1.12     Mon Aug 22 09:40 

 still logged in
 root     tty1                          Mon Aug 15 11:38 - 11:39  (00:01)
 reboot   system boot  2.6.11           Sun Aug 14 18:18         (7+15:41)
 dmtsai   pts/0        192.168.1.12     Fri Aug 12 12:07 - 12:08  (00:01)
 若我想要取出账号与登入者的 IP ，且账号与 IP 之间以 [tab] 隔开，则会变成这样

：
 [root@linux ~]# last | awk '{print $1 "\t" $3}'
 dmtsai  192.168.1.12
 root    Mon
 reboot  boot
 dmtsai  192.168.1.12
 因为不论哪一行我都要处理，因此，就不需要有 "条件类型" 的限制！我所想要的是

第一栏以及第三栏， 但是，第二行及第三行的内容怪怪的～这是因为数据格式的问题

啊！所以使用 awk 的时候，请先确认一下您的数据当中，如果是连续性的数据，请不

要有空格或 [tab] 在内，否则，就会像这个例子这样，会发生误判！
 另外，由上面这个例子您也会知道，在每一行的每个字段都是有变量名称的，那就是

$1, $2... 等变量名称，以上面的例子来说， dmtsai 是 $1 ，因为他是第一栏,至于

192.168.1.12 是第三栏， 所以他就是 $3 ,后面以此类推.还有个变数喔,那就是 $0

，$0 代表『一整列资料』的意思, 以上面的例子来说，第一行的 $0 代表的就是

『dmtsai pts/0.... 』那一行. 由此可知，刚刚上面四行当中，整个 awk 的处理流程

是：
•读入第一行，并将第一行的资料填入 $0, $1, $2.... 等变数当中；

•依据 "条件类型" 的限制，判断是否需要进行后面的 "动作"；

•做完所有的动作与条件类型；

•若还有后续的『行』的数据，则重复上面 1~3 的步骤，直到所有的数据都读完为止。

经过这样的步骤，您会晓得， awk 是『以行为一次处理的单位』， 而『以字段为最小

的处理单位』。好了，那么 awk 怎么知道我到底这个数据有几行？有几栏呢？这就需

要 了角awk 的内建变量：
 变量名称
 代表意义
 NF
 每一行 ($0) 拥有的字段总数
 NR
 目前 awk 所处理的是『第几行』数据
 FS
 目前的分隔字符，预设是空格键
 我们继续以上面例子来做说明，如果我想要列出每一行的账号，并且列出目前处理的

行数， 并且说明，该行有多少字段，则可以这样 (注意， awk 后续的所有动作以 '

括住， 所以，内容如果想要以 print 打印时，记得，非变量的文字部分，包含上一小

节
printf
 提到的格式中，都需要使用双引号来定义出来。)
 [root@linux ~]# last | awk '{print $1 "\t lines: " NR "\t columes: " NF}'
 dmtsai   lines: 1        columes: 10
 root     lines: 2        columes: 9
 reboot   lines: 3        columes: 9
 dmtsai   lines: 4        columes: 10
awk 的逻辑运算字符
 
既然有需要用到 "条件" 的类别，自然就需要一些逻辑运算，例如底下这些：
 运算单元
 代表意义
 >
大于
 小于
 >=
大于或等于
 小于或等于
 ==
等于
 !=
不等于
 值得注意的是那个 == 的符号，因为在『逻辑运算』上面， 就是所谓的大于、小于、

等于等等的判断式上面，我们习惯上是以 == 来表示，而如果是直接给予一个值，例如

变量设定时，就直接使用 = 而已。 好了，我们实际来运用一下逻辑判断吧！举例来说

，在 /etc/passwd 当中是以冒号 ":" 来作为字段的分隔，那假设我要查阅，第三栏小

于 10 以下的数据，并且仅列出账号与第三栏， 那么可以这样做：
 [root@linux ~]# cat /etc/passwd | \
 > awk '{FS=":"} $3
root:x:0:0:root:/root:/bin/bash
 bin      1
 daemon   2
 ......(以下省略)......
 怎么第一行没有正确的显示出来呢？这是因为我们读入第一行的时候， 那些变数 $1,

$2... 预设还是以空格键为分隔的，所以虽然我们定义了 FS=":" 了， 但是却仅能在

第二行后才开始生效。那么怎么办呢？我们可以预先设定 awk 的变量， 利用 BEGIN

这个关键词喔！这样做：
 [root@linux ~]# cat /etc/passwd | \
 > awk 'BEGIN {FS=":"} $3 ......(以下省略)......
 除了 BEGIN 之外，我们还有 END 。另外，如果要用 awk 来进行『计算功能』呢？以

底下的例子来看， 假设我有一个薪资数据表，内容是这样的：
 Name    1st     2nd     3th
 VBird   23000   24000   25000
 DMTsai  21000   20000   23000
 Bird2   43000   42000   41000
 如何帮我计算每个人的总额呢？而且我还想要格式化输出喔！ 你可以将上面的数据储

存成一个名称为 pay.txt 的档案，则：
 [root@linux ~]# cat pay.txt | \
 > awk 'NR==1{printf "%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total" }
 NR>=2{total = $2 + $3 + $4
 printf "%10s %10d %10d %10d %10.2f\n", $1, $2, $3, $4, total}'
      Name        1st        2nd        3th      Total
      VBird      23000      24000      25000   72000.00
     DMTsai      21000      20000      23000   64000.00
      Bird2      43000      42000      41000  126000.00
 上面的例子有几个重要事项应该要先说明的：

•所有的动作，亦即在 {} 内的动作，如果有需要多个指令辅助时，可利用分号『;』间

隔， 或者直接以 [Enter] 按键来隔开每个指令，例如上面的 NR>=2 后面接的动作，

利用 total = ... 那个指令来指定加总，而后续则以 printf 来格式化输出！

•逻辑运算当中，如果是『等于』的情况，则务必使用两个等号『==』！

•格式化输出时，在 printf 的格式设定当中，务必加上 \n ，才能进行分行！

•与 bash shell 的变量不同，在 awk 当中，变量可以直接使用，不需加上 $ 符号。
利用 awk 这个玩意儿，就可以帮我们处理很多日常工作了呢！真是好用的很～ 此外，

awk 的输出格式当中，常常会以 printf来辅助， awk 的动作内 {} 也是支持 if (条

件) 的。 举例来说，上面的指令可以修订成为这样的：
 [root@linux ~]# cat pay.txt | \
 > awk '{if(NR==1) printf "%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total"}
 NR>=2{total = $2 + $3 + $4 printf "%10s %10d %10d %10d %10.2f\n", $1, $2,

$3, $4, total}'