shell常用命令之grep、sed、awk

grep

Global search Regular Expression and Print out the line
全面搜索研究正则表达式并显示出来 grep命令是一种强大的文本搜索工具，根据用户指定的“模式”对目标文件进行批匹配检查，打印匹配到的行
由正则表达式或者字符及文本字符所编辑的过滤条件

grep中字符定位

-i	##忽略字母大小写
-v	##条件取反
-c	##统计匹配行数
-q	##静默，无任何输出
-n	##显示匹配结果所在的行号
\<  ##关键字左边不能有其他字符（不包含特殊字符）
>\  ##关键字右边不能有其他字符（不包含特殊字符）

（1）普通过滤关键字

grep root passwd

（2）忽略大小写

grep -i root passwd

（3）关键字左边不能有其他字符（不包含特殊字符）

grep "\<root" passwd

（4）关键字右边不能有其他（不包含特殊字符）

grep "root\>" passwd

（5）关键字左右不能有其他（不包含特殊字符）

grep "\<root\>" passwd

（6）以关键字开头

^关键字 以关键字开头

（7）以关键字结尾

关键字$ 以关键字结尾
grep -E "^root\>|\<root$" passwd   ##因为有 | ，需要扩展-E（extend）
egrep "^root\>|\<root$" passwd

（8）-v 反向过滤，不包含的所有

grep -E "^root\>|\<root$" passwd -v
grep -E "^root\>|\<root$" passwd -v | grep root
grep -E "^root\>|\<root$" passwd -v | grep "\<root\>"

过滤指定字符
正则表达式：对于特殊字符需要转义\，并且加上双引号
（2）grep 中字符的匹配次数设定

*        字符出现 [0- 任意次 ]
?        字符出现 [0-1 次 ]
+        字符出现 [1- 任意次 ]
{n}      字符出现 [n 次 ]
{m,n}    字符出现 [ 最少出现 m 次,最多出现 n 次 ]
{0,n}    字符出现 [0-n 次 ]
{m,}     字符出现 [ 至少 m 次 ]
(xy){n}  xy关键字出现 [n 次 ] 
.*       关键字之间匹配任意字符
{}大括号内的内容属于哪一个程序
()括号内属于一个整体

sed

sed stream editor(行编辑器)
用来操作纯 ASCII 码的文本处理时 , 把当 前处理的行存储在临时缓冲区中 ,
称为“模式空间” (pattern space) 可以指定仅仅处理哪些行。
sed符合模式条件的处理不符合条件的不予处理，处理完成之后把缓冲区的内容送往屏幕接着处理下一行 , 这样不断重复 , 直到文件末尾。

sed对字符的处理

p  显示
d  删除
a  添加
c  替换
w  写入
i  插入

p操作模式
显示fstab以#开头的行

sed -n '/^#/p' fstab

不显示以#开头的行

sed -n ‘/^#/!p’ fstab

显示fstab的2-6行

cat -n fstab | sed -n '2,6p'

显示fstab的第2行和第6行

cat -n fstab | sed -n -e '2p;6p'
cat -n fstab | sed -n -e '2p' -e '6p'

d操作模式

不显示空行

sed -e '/^$/d' fstab

不显示空行和以#开头的行

sed -e '/^$/d;/^#/d' fstab

不显示4-6行

cat -n fstab | sed '4,6d'

-n：抑制模式空间的输出

a操作模式

在fstab文件中以UU开头的行后面加hello并换行加world

sed '/^UU/ahello\nworld' fstab

i操作模式

将指定内容插入在UU前面
sed '/^UU/ihello\nworld' fstab

c操作模式

将#替换成hello
sed '/^#/chello' fstab

w操作模式

把fstab中以#开头的写入文件testfile

sed -n '/^#/w /mnt/testfile' fstab
sed -n '/^#/p' fstab >testfile

sed的其他用法

=       表示加入行号；
6r      表示将文件写入第6行下一行；
N       表示每一行添加换行符
G       表示每行后面插入空行
-n '$p' 显示文件最后一行
-i      改变原文件的内容
-f      在文件中写替换策略，调用文件替换

显示fstab中的行号并与内容分开

sed '/^#/=' fstab

仅仅显示某一行的行号

sed -n '/^UUID/=' fstab

将行号和内容显示到一行

sed -ne '/^UUID/=;/^UUID/p' fstab | sed 'N;s/\n/ /g'  ##将换行符号替换为空格

将hello中的内容加入到fstab中第五行之后

sed '5r /mnt/hello' /mnt/fstab

使用文件替换3-5行的#

加入行号并将换行符替换为空格

加入行好并插入到文件

1-3行替换nologin为bash

第一行和第三行替换，-e表示继续执行

将bin到lp之间的行的nologin替换为bash

将/替换为空格，因为文件中的/与命令中的/相同，故需要用\转义将其区分
或者用@代替/执行命令

G插入空格

最后一行没有空格

sed '$!G' passwd

``与$(区别
$()在bash版本中肯定可以使用
倒引号对每一个版本都支持

awk

awk 处理机制：
awk会逐行处理文本，支持在处理第一行之前做一些准备工作，以及在处理完最后以行做一些总结性质的工作，在命令格式上分别体现如下：
BEGIN{}：读入第一行文本之前执行，一般用来初始化操作； {}：逐行处理，逐行读入文本执行相应的处理，是最常见的编辑指令；
END{}：处理完最后一行文本之后执行，一般用来输出处理结果；

NR 行
NF 列
{} 精确匹配
[] 模糊匹配

加法运算

awk 'BEGIN{n=100;print n+100}'

以分号为分隔符，输出第一列并以hello开头以end结尾

awk -F : 'BEGIN{print "hello"}{print $1}END{print "end"}' passwd

输出文件名

awk -F : '{print FILENAME}' passwd

输出行数与列数

awk -F : '{print NR,NF}' passwd

输出以bash结尾的行数

awk 'BEGIN{N=0}/bash$/{n++}END{print n}' passwd

输出以a-d开头的

awk '/^[a-d]/{print}' /etc/passwd

输出不以a-d开头的

awk '!/^[a-d]/{print}' /etc/passwd=awk '/^[^a-d]/{print}' /etc/passwd

输出以a开头或以bash结尾的

awk '/^a|bash$/{print}' /etc/passwd

输出以冒号为分割符以a开头，bash结尾的第一列第二列

awk -F : '/^a|bash$/{print $1,$2}' /etc/passwd

输出第6列以bin结尾的第一列和第六列

 awk -F : '$6~/bin$/{print $1,$6}' /etc/passwd

输出第6列不以bin结尾的第一列和第六列

awk -F : '$6!~/bin$/{print $1,$6}' /etc/passwd

偶数行

awk -F: 'NR % 2 == 0 {print}' /etc/passwd 

3-5行

awk -F: 'NR >=3 && NR <=5 {print }' /etc/passwd

统计文本总字段个数

awk 'BEGIN{i=0}{i+=NF}END{print i}' linux.txt

输出每一行的内容，并在每一行的第一列前加上行号

awk -F ":" '{print NR,$0}' passwd 

显示可以登陆的用户

awk -F ":" '\$6!~/^\/home/&&/bash\$/{print $1}' /etc/passwd

显示主机ip

ifconfig eth0 | awk '/inet\>/{print $2}'