文本三剑客awk，sed，grep

一.awk

1.概述

AWK是一个优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。AWK 提供了极其强大的功能：可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。

2.基础用法

awk 选项 '模式或条件{操作}' 文件1 文件2 ....
awk -f 脚本文件 文件1 文件2 ..

格式：awk关键字 选项  命令 '{xxxx}'  文件名

3.内建变量

FS:指定每行文本的字段分隔符，默认为空格或制表位
NF:当前处理的行的字段个数
NR：当前处理的行的行号
$0:当前处理的行的整行内容
$n:当前处理的行的第n个字段（第n列）
FILENAME：被处理的文件名

RS:行分隔符

4.示例

打印a.txt所有
awk '{print}' a.txt

打印a.txt第n列
awk -F '{print $1}' a.txt

打印出a.txt第一列和第二列
awk -F '{print $1"\t"$2}' a.txt

用: 和 /分隔，打印第9列
awk -F[:/] '{print $9}' a.txt

打印第一列和第六列包含root的行
awk -F '/root/{print $1,$6}' 

模糊匹配

第一列包含root的行
awk -F '$1~/root/'

数值，逻辑的符号

符号	含义
==	等于
!=	不等于
<=	小于等于
>=	大于等于
<	小于
>	大于
&&	且
||	或

提取IP地址
ifconfig ens33|grep netmak|awk -F '{print $2}'

二.sed

1.概述

SED是一项Linux指令，功能同awk类似，差别在于，sed简单，对列处理的功能要差一些，awk的功能复杂，对列处理的功能比较强大。

2.基础用法

调用sed命令有两种形式：
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)

3.选项

-e：表示用指定命令或者脚本来处理输入的文本文件
-f ：表示用指定的脚本文件来处理输入的文本文件
-h ：显示帮助
-n：表示仅显示处理后的结果
-i：直接编辑文本文件

4.参数

a:增加，在当前行下面增加一行指定内容
c:替换，将选定行替换为指定内容
d:删除，删除选定的行
i：插入，在选定行上面插入一行指定内容
p:打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有打印字符，则以 ASCII 码输出。其通常与“-n”选项一起使用
s:替换，替换指定字符
y:字符转换
//：搜索包含/之间的字符行

5.示例

#!/bin/bash
# 指定样本文件路径、配置文件路径
SAMPLE="/usr/share/doc/vsftpd-3.0.2/EXAMPLE/INTERNET_SITE/vsftpd.conf " CONFIG="/etc/vsftpd/vsftpd.conf"
 
# 备份原来的配置文件,检测文件名为/etc/vsftpd/vsftpd.conf.bak 备份文件是否存在, 若不存在则使用 cp 命令进行文件备份
[ ! -e "$CONFIG.bak" ] && cp $CONFIG $CONFIG.bak 
 
# 基于样本配置进行调整,覆盖现有文件
sed -e '/^anonymous_enable/s/YES/NO/g' $SAMPLE > $CONFIG
 
sed -i -e '/^local_enable/s/NO/YES/g' -e '/^write_enable/s/NO/YES/g' $CONFIG 
grep "listen" $CONFIG || sed -i '$alisten=YES' $CONFIG
|| 表示上一条命令执行失败后，才执行下一条命令
 
# 启动vsftpd 服务,并设为开机后自动运行
systemctl restart vsftpd systemctl enable vsftpd

三.grep

1.概述

grep （缩写来自Globally search a Regular Expression and Print）是一种强大的文本搜索工具，它能使用特定模式匹配（包括正则表达式）搜索文本，并默认输出匹配行。

2.基础用法

grep match_pattern file_name 
grep "match_pattern" file_name 

3.选项

-a --text # 不要忽略二进制数据。 
-A <显示行数> --after-context=<显示行数> # 除了显示符合范本样式的那一行之外，并显示该行之后的内容。 
-b --byte-offset # 在显示符合范本样式的那一行之外，并显示该行之前的内容。 
-B<显示行数> --before-context=<显示行数> # 除了显示符合样式的那一行之外，并显示该行之前的内容。 
-c --count # 计算符合范本样式的列数。 
-C<显示行数> --context=<显示行数>或-<显示行数> # 除了显示符合范本样式的那一列之外，并显示该列之前后的内容。 
-d<进行动作> --directories=<动作> # 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep命令将回报信息并停止动作。 
-e<范本样式> --regexp=<范本样式> # 指定字符串作为查找文件内容的范本样式。 
-E --extended-regexp # 将范本样式为延伸的普通表示法来使用，意味着使用能使用扩展正则表达式。 
-f<范本文件> --file=<规则文件> # 指定范本文件，其内容有一个或多个范本样式，让grep查找符合范本条件的文件内容，格式为每一列的范本样式。 
-F --fixed-regexp # 将范本样式视为固定字符串的列表。 
-G --basic-regexp # 将范本样式视为普通的表示法来使用。 
-h --no-filename # 在显示符合范本样式的那一列之前，不标示该列所属的文件名称。 
-H --with-filename # 在显示符合范本样式的那一列之前，标示该列的文件名称。 
-i --ignore-case # 忽略字符大小写的差别。 
-l --file-with-matches # 列出文件内容符合指定的范本样式的文件名称。 
-L --files-without-match # 列出文件内容不符合指定的范本样式的文件名称。 
-n --line-number # 在显示符合范本样式的那一列之前，标示出该列的编号。 
-q --quiet或--silent # 不显示任何信息。 
-R/-r --recursive # 此参数的效果和指定“-d recurse”参数相同。 
-s --no-messages # 不显示错误信息。 
-v --revert-match # 反转查找。 
-V --version # 显示版本信息。 
-w --word-regexp # 只显示全字符合的列。 
-x --line-regexp # 只显示全列符合的列。 
-y # 此参数效果跟“-i”相同。 
-o # 只输出文件中匹配到的部分。