shell三剑客

一.grep
1.目的：过滤，查找文档中的内容
2.分类：
egrep 扩展支持正则

\w	所有字母与数字，称为字符[a-zA-Z0-9]		    	'l[a-zA-Z0-9]*ve'		 ===       'l\w*ve'
\W 所有字母与数字之外的字符，称为非字符		'love[^a-zA-Z0-9]+' 	===    'love\W+'
\b	词边界										 '\<love\>'		  	 ===             '\blove\b'		

fgrep 不支持正则

返回值 0 是找到了 1 是没有 2 找到地儿不对

示范
	 ## grep 'root' /etc/passwd
    root:x:0:0:root:/root:/bin/bash
    operator:x:11:0:operator:/root:/sbin/nologin
 ## echo $?
    0
    
 ## grep 'root1' /etc/passwd  #用户root1并不存在
 ## echo $?
    1
    
 ## grep 'root' /etc/passwd1  #这里的/etc/passwd1文件并不存在
    grep: /etc/passwd1: No such file or directory
 ## echo $?
    2

3.参数
grep -q 静默

[root@localhost ~]# grep "5\.." 1.txt
5.1
5.2
5.a
5.b
5..
5...
5.aaa
[root@localhost ~]# grep -q "5\.." 1.txt
[root@localhost ~]# echo $?
0

grep -v 去反
grep -R 可以查目录下面的文件
grep -o 只找到这个关键字就可以
grep -B2前两行
grep -A2后两行
grep -C2上下两行
egrep -l 只要文件名
egrep -n 带行号
4.示例：

	grep -E 或 egrep 进行使用
	# egrep 'NW' datafile
		在datafile文件中，找NW
	# egrep 'NW' d*
		找NW，文件只要是d开头就可以
	# egrep '^n' datafile
		以n开头的
	# egrep '4$' datafile
		4结尾
	# egrep TB Savage datafile
		找TB，在savage里找，在datafile里找
	# egrep 'TB Savage' datafile
		找TB Savage
	# egrep '5\..' datafile	
		找五点后面是一个任意字符
	# egrep '\.5' datafile
		找点五
	# egrep '^[we]' datafile
		W或E开头
	# egrep '[^0-9]' datafile
		不是0到9
	# egrep '[A-Z][A-Z] [A-Z]' datafile
		俩大写，空格，大写的行
	# egrep 'ss* ' datafile
		s开头，0到多个s
	# egrep '[a-z]{9}' datafile
		小写字母出现9次
	# egrep '\<north' datafile
		单词开头
	# egrep '\<north\>' datafile	
		就找这个词
	# egrep '\<[a-r].*n\>' datafile
		a或r开头，中间任意，n结尾
	# egrep '^n\w*\W' datafile
		n开头，多个字母，结尾一个非字母
	# egrep '\bnorth\b' datafile
		就找north
	# egrep 'NW|EA' datafile
		NW或者EA
	# egrep '3+' datafile
		1个或多个3
	# egrep '2\.?[0-9]' datafile
		2开头，0个或1个点，一个数字
	# egrep '(no)+' datafile
		一个或多个no
	# egrep 'S(h|u)' datafile
		sh或su
	# egrep 'Sh|u' datafile
		sh或者u

二.sed
1.Stream EDitor：流编辑
sed 是一种在线的、非交互式的编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。

接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；
文本文件->“模式空间”（pattern space）->屏幕
逐行处理
内容未变
编辑文件
2.格式
1 sed 选项 命令 文件
sed [options] ‘command’ file(s)
2 sed 选项 –f 脚本 文件
sed [options] -f scriptfile file(s)
返回值
都是0，对错不管。
只有当命令存在语法错误时，sed的退出状态才是非0
3.sed和正则表达式
与grep一样，sed在文件中查找模式时也可以使用正则表达式(RE)和各种元字符。正则表达式是括在斜杠间的模式，用于查找和替换，以下是sed支持的元字符。
使用基本元字符集 ^, $, ., *, [], [^], < >,(),{}
使用扩展元字符集 ?, +, |, ( )
使用扩展元字符的方式：
+ 转义
sed -r 加-r
4.命令：

删除命令：   d
# sed -r '/root/d' passwd 
# sed -r '3d' passwd
# sed -r '3{d}' passwd
替换命令：   s
# sed -r 's/root/cyx/' passwd
# sed -r 's/^root/cyx/' passwd
# sed -r 's/root/aofa/g' passwd
# sed -r 's/[0-9][0-9]$/&.5/' passwd 
VI中也有类似功能。
	:% s/.*/#&/g
&：查询结果的含义
	:% s/\(.*\)/#\1/g
每一行
换成
#每一行
# sed -r 's/(mail)/E\1/g' passwd
读文件命令：r
# sed -r '$r 1.txt' passwd
# sed -r '/root/r 1.txt' passwd
写文件命令：w(另存为)
# sed -r 'w 111.txt' 1.txt
	把1.txt全部内容 写入111.txt
# sed -r '/root/w 123.txt' passwd
	把1.txt 写入111.txt
# sed -r '1,5w 123.txt' passwd
追加命令：   a（之后）
# sed -r '2a123' passwd
sed -r '2a 1111\3333333\444444' passwd
插入命令：   i（之前）
# sed -r '2iaaaaaaaa' passwd
插入多行和上面同理
替换整行命令：   c
# sed -r '2caaaaaaaa' passwd
获取下一行命令：n
# sed -r '/root/{n;d}' passwd
# sed -r '/root/{n;s/bin/ding/g}' passwd 
反向选择:      !
# sed -r '2,$d' passwd 
# sed -r '2,$!d' passwd 
多重编辑 ：   e  ；
# sed -r -e '1,3d' -e '4s/adm/admin/g' passwd 
# sed -r  '1,3d;4s/adm/admin/g' passwd   同上
# sed -r '2s/bin/ding/g;2s/nologin/bash/' passwd 
# sed -r '2{s/bin/ding/g;s/nologin/bash/}' passwd

暂存空间 hHGgx

暂存和取用命令：h覆盖暂存空间 H追加暂存空间 g覆盖行 G追加行

# sed -r 'G' passwd
	G是从暂存空间，追加到模式空间。
# sed -r '1h;$G' passwd
	第一行覆盖到暂存空间;将暂存空间的内容追加到最后一行
# sed -r '1h;2G;3G;$G' passwd
	第一行覆盖到暂存空间，2后面多一行，3后面多一行，10后面多一行	
# sed -r '1{h;d};$G' passwd 
	第一行进入暂存空间，第一行在模式空间中删除，将暂存空间最佳到最后一行。
就像移动。
[root@localhost ~]# sed -r '1{h;d};$G' passwd 
bin:x:1:1:bin:/bin:/sbin/nologin2
daemon:x:2:2:daemon:/sbin:/sbin/nologin3
adm:x:3:4:adm:/var/adm:/sbin/nologin4
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin5
sync:x:5:0:sync:/sbin:/bin/sync6
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown7
halt:x:7:0:halt:/sbin:/sbin/halt8
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin9
operator:x:11:0:operator:/root:/sbin/nologin10
root:x:0:0:root:/root:/bin/bash1
# sed -r '1h;2,$g' passwd
	第一行进入暂存空间;将暂存空间覆盖在，2到最后一行，
[root@localhost ~]# sed -r '1h;2,$g' passwd 
root:x:0:0:root:/root:/bin/bash1
root:x:0:0:root:/root:/bin/bash1
root:x:0:0:root:/root:/bin/bash1
root:x:0:0:root:/root:/bin/bash1
root:x:0:0:root:/root:/bin/bash1
root:x:0:0:root:/root:/bin/bash1
root:x:0:0:root:/root:/bin/bash1
root:x:0:0:root:/root:/bin/bash1
root:x:0:0:root:/root:/bin/bash1
root:x:0:0:root:/root:/bin/bash1
# sed -r '1h;2,3H;$G' passwd 
	第一行进入暂存空间；2,3行追加进攒存空间；将暂存的内容追加到最后一行

[root@localhost ~]# sed -r '1h;2,3H;$G' passwd 
root:x:0:0:root:/root:/bin/bash1
bin:x:1:1:bin:/bin:/sbin/nologin2
daemon:x:2:2:daemon:/sbin:/sbin/nologin3
adm:x:3:4:adm:/var/adm:/sbin/nologin4
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin5
sync:x:5:0:sync:/sbin:/bin/sync6
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown7
halt:x:7:0:halt:/sbin:/sbin/halt8
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin9
operator:x:11:0:operator:/root:/sbin/nologin10
root:x:0:0:root:/root:/bin/bash1
bin:x:1:1:bin:/bin:/sbin/nologin2
daemon:x:2:2:daemon:/sbin:/sbin/nologin3
# sed -r '4h;5x;6G' passwd 
	第四行进入暂存空间；将模式空间第五行和暂存空间互换，将暂存空间的内容追加到第六行。
1-2-3-4-4-6-5
[root@localhost ~]# sed -r '4h;5x;6G' passwd 
root:x:0:0:root:/root:/bin/bash1
bin:x:1:1:bin:/bin:/sbin/nologin2
daemon:x:2:2:daemon:/sbin:/sbin/nologin3
adm:x:3:4:adm:/var/adm:/sbin/nologin4
adm:x:3:4:adm:/var/adm:/sbin/nologin4
sync:x:5:0:sync:/sbin:/bin/sync6
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin5
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown7
halt:x:7:0:halt:/sbin:/sbin/halt8
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin9
operator:x:11:0:operator:/root:/sbin/nologin10

请思考，下方命令的每行的顺序。
[root@localhost ~]# sed -r '4h;5x;6G;$G' passwd 

5.实战案例

实战案例
删除配置文件中#号注释行
		 sed -r '/^#/d' /etc/samba/smb.conf
疑难杂症
样本文件
[root@localhost ~]# cat space.txt 
#111111111111
 #22222222222
  #33333333333
	 #444444444
5555555555555

//aaaaaa
 //bbbbbb
 	//cccccc
ddddddd
祖传牛皮癣专治老中医
			# sed -r '/^[ \t]*#/d' space.txt 
删除：以0个和多个空，或者tab，以及#号开始的行
删除配置文件中//号注释行
# sed -r '\Y^[ \t]*//Yd'  space.txt 由于分隔符也是/，所以使用自定义分隔符\Y。
删除无内容空行
	# sed -r '/^[ \t]*$/d' space.txt $即代表空行。
删除注释行及空行另类写法
		# sed -ri '/^[ \t]*#/d; /^[ \t]*$/d' /etc/vsftpd/vsftpd.conf   都是删除#行和空行
		# sed -ri '/^[ \t]*#|^[ \t]*$/d' /etc/vsftpd/vsftpd.conf
 都是删除#行和空行，区别在于使用了     “A|B”     A或B
		# sed -ri '/^[ \t]*($|#)/d' /etc/vsftpd/vsftpd.conf
  第三行用括号和$|#进行双选。（）进行了组词
修改文件：
		# sed -ri '$a\chroot_local_user=YES' /etc/vsftpd/vsftpd.conf 
在最后一行追加
		# sed -ri '/^SELINUX=/cSELINUX=disabled' /etc/selinux/config 
			换行c
	给文件行添加注释：
		# sed -r '2,6s/^/#/' a.txt
			找到2到6行，把开始换成#
		# sed -r '2,6s/(.*)/#\1/' a.txt	
			（）内容可以被\1引用
		# sed -r '2,6s/.*/#&/' a.txt   &匹配前面查找的内容
	多个#换成一个#
		样本文件
			###111
#222
####333
########4
		示范
			# sed -r 's/^#*/#/g'   文件名
#111
#222
#333
#4
#

# sed -r '30,50s/^[ \t]*#*/#/' /etc/nginx.conf
# sed -r '2,8s/^[ \t#]*/#/' /etc/nginx.conf
sed中使用外部变量
准备工作
			# var1=11111
追加变量
			# sed -r  "1a$var1" /etc/hosts
第一行后追加变量$var1
[root@localhost ~]# sed -r  "1a$var1" /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
111111
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
注意调用变量时，使用单引号是错误的。
巧合
sed -ri "$a$var1" /etc/hosts
报错了，$a最后一行追加被误认为变量了。
# sed -r "\$a$var1" /etc/hosts