shell三剑客

grep
grep 不带任何参数，意思打印被查询关键字所在行的内容
grep -i 忽略大小写
grep -o 精确查找（只显示匹配到的内容）
grep -v 反向查找
grep支持正则表达式
.表示任意一个字符
*表示任意字符
多层过滤 grep ‘25786547’ 1.log | grep ‘13717624935’

awk
awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
-F参数为指定分隔符
print为打印
$1为第一个域，$2为第二域，$为所有域
\t为制表符
echo “123|456|789”|awk -F ‘|’ ‘{print $1}’
echo “123+345-789”|awk -F ‘+|-’ ‘{print $1}’ #根据加号或者减号分割 | 表示或
awk ‘/404/{print $0}’ 123.log 显示123.log文件中的所有包含404的字段
cat 110 | awk -F ‘:’ ‘{print $1"\t"$2}’ 显示110文件中每个用户及对应的IP，要求用制表符分开

某列求和
cat 5.log |awk -F ’ ’ ‘{sum=sum+$2} END {print “sum=”,sum}’

求平均值
cat 5.log |awk -F ’ ’ ‘{sum=sum+$2} END {print “sum=”,sum/NR}’

sed
1.简介
sed是一种行编辑器，它一次处理一行内容。

参数：
-n：sed会在处理一行文本前，将待处理的文本打印出来，-n参数关闭了这个功能(关闭默认输出)

-i: 修改内容

功能选项：
s: 取代
p：打印，表示打印当前行

sed -n p 1.log # 打印1.log的内容，相当于cat命令

2.定址
告诉sed你期望处理的行，由逗号分隔的两个数字表示，（美元符号）符号表示最后一行；

sed -n '2,3’p 5.log #打印第2到3行
sed -n '2,$'p 5.log #打印第2行到最后一行
sed -n ‘/100/p’ 5.log #打印文件中包含100的行

批量替换
sed ‘s/原字符/新字符/’ 1.log
sed -i ‘s/原字符/新字符/’ 1.log #-i参数保存到文件中

查看某时间段日志
例如：查看2014-12-17 16:17:20到2014-12-17 16:17:36的日志如下：
sed -n ‘/2014-12-17 16:17:20/,/2014-12-17 16:17:36/p’ test.log

删除带有xxx的行
sed -i -e ‘/xxx/d’ 1.log