Grep Sed Awk 笔记和实例-优快云博客

Grep Sed Awk Note

1. Grep

1.1 何为 Grep

Grep 表示 Global search Regular Expression and Print out the line ，是一种强大的文本搜索工具。它从若干个文件中搜索字符串模板，模板后的所有字符串被视为文件名，因此如果模板中有空格则需要被引用，并默认将搜索结果送到终端。

如果搜索成功，则返回 0 ；如果无法匹配到模板，返回 1 ；如果目标文件不存在，返回 2

1.2 Grep 选项

- 数字同时显示匹配行的上下若干行，如 -2 表示同时显示匹配行的上下 2 行；示例： #grep -2 “meet” test.txt

-b 在匹配行前面打印该行所在块；

-c 只打印匹配的行数；

-f File 从文件中提取要匹配的模板；

-h 搜索多个文件时，默认会在匹配行前面显示所在文件名，该参数取消此功能；示例： #grep –h “meet” test.txt 1.txt

-i 忽略大小写；

-q 不显示匹配行，只返回退出状态；

-l 显示匹配模板的文件列表；示例： grep –l “meet” *

-L -l 的取反，显示不匹配模板的文件列表；

-n 在匹配行前显示行号；

-s 不显示错误信息；

-v 只显示不匹配的行；

-V 显示版本信息；

-w 结合 /< 和 /> 匹配单词；

1.3 基本正则

^ 匹配行开始

$ 匹配行末尾

. 匹配一个非换行字符

* 匹配任意个先前字符

[] 匹配指定范围内字符

[^] 匹配不属于指定范围的字符

/< 匹配单词开始

/> 匹配单词结束

/{m/} 重复 m 次先前字符

/{m,/} 重复至少 m 次先前字符

/{m,n/} 重复 m 到 n 次先前字符

/w 匹配文字和数字

/W /w 的取反，匹配非文字和数字

/b 设置边界，即只匹配单词；如 ’/bschedule/b’ 不会匹配 ”scheduled”

1.4 扩展正则 egrep 或者 grep –E

+ 匹配至少一个先前字符

? 匹配 0 个或 1 个先前字符

| 匹配其中之一，如 a|b|c

() 在字符串中插入 RE ，如 abc(d|e)fg

{m} 、 {m,} 、 {m,n} 同上表示匹配 m 个、至少 m 个、 m 到 n 个

1.5 POSIX 字符集

[:alnum:] 表示文字和数字

[:alpha:] 表示文字

[:digit:] 表示数字

[:xdigit:] 表示十六进制数字

[:graph:] 表示非空格、控制字符等的其它非空字符

[:lower:] 小写字符

[:upper:] 大写字符

[:cntrl:] 控制字符

[:print:] 可打印字符

[:punct:] 标点符号

[:space:] 空白字符，如空格、制表符、换行符

1.6 实例

① 从一堆 URL 中提取出非 IP 类 URL ： # grep "^[^0-9]/{2,3/}/." final.result > final_no_ip.result

② 取出不包含 James 的记录： #grep –n –v James datafile

③ 取出以 K 、 k 、 A 、 a 开头的记录： #grep –i –n ^[AaKk] datafile

2. Sed

2.1 何为 Sed

Sed 表示 streams editor ，它一次读入一行记录到缓冲区（称为“模式空间”），然后根据命令处理缓冲区中的内容，再送到终端显示。如此循环，直到文件结束。

2.2 Sed 选项

-e 表示允许多个命令执行，示例： sed –e ‘s/a/A’ –e ‘s/b/B’ data.txt

-f 后面指定 sed 脚本文件，如果没有 -e 或 -f 则第一个非选项参数视为 sed 命令

-n 取消自动打印模式空间

-r 在脚本中使用扩展正则表达式

-s 将输入文件视为独立文件，而非连续长输入

--help

--version

2.3 Sed 命令

2.3.1 替换命令 s

s 表示 substitution ，替换，是 sed 中最重要的命令。示例： echo today | sed ‘s/day/night/’ ，得到的输出结果为“ tonight ”。

替换命令中分隔符为“ / ”，所以如果要替换“ / ”就需要进行转义“ // ”，多个这样的正反斜线被称为“ Picket Fence ”。

& 在 s 命令中该符号表示匹配串。示例： echo today | sed ‘s/day/(&)/’ ，得到的输出结果为“ to(day) ”。

/1 sed 可以记忆 /1 到 /9 ，分别表示第 1 到第 9 个匹配串。

2.3.2 替换命令 s 的末尾标记

/g 表示全局搜索。示例： sed ‘s/day/night/g’ 。

/p 表示输出当前行。示例： sed ‘s/day/(&)/p’ 。

/w 将处理结果写到文件中。示例： sed ‘s/day/(&)/w day.txt’

2.3.3 指定 sed 操作范围

通过数字指定行范围： sed ‘1,100 s/a/A’ 。

通过模式指定行范围： sed ‘/start/,/stop/ s/a/A/’ 。

通过混合指定行范围： sed ‘1,/stop/ s/a/A/’ 。

2.3.4 删除命令 d

删除指定行： sed ‘1, d’ 。

删除范围行： sed ‘1,$ d’ ，表示删除第一行到最后一行。

删除匹配行： sed ‘/^$/ d’ ，表示删除空行。

2.3.5 输出命令 p

输出指定行： sed ‘1 p’ 。

输出范围行： sed ‘1,10 p’ 。

输出匹配行： sed ‘/^#/ p’ 。

2.3.6 取反命令 !

不输出匹配行： sed ‘/^# !p’ 。

删除非指定行： sed ‘1,10 !d’ ，即删除 11 到最后一行。

2.3.7 使用 {} 组合命令

即可以在 {} 中放置多条命令。

2.3.8 文件读写与追加、插入、改变

添加 a 表示将行添加到匹配行后面，插入 i 则是插入到前面，命令 c 则是改变当前行。

读文件使用 r 命令，写文件使用 w 命令。

示例： sed ‘/meet/ r 2.txt’ < 1.txt ，如果 2.txt 有 1.txt 的匹配行，则会在该匹配行后面显示 2.txt 的内容。

示例： echo abc123 | sed ‘/abc/ a hello’ ，得到结果为 :

abc123

hello

示例： echo abc123 | sed ‘/abc/ i hello’ ，得到结果为 :

hello

abc123

示例： echo abc123 | sed ‘/abc/ c hello’ ，则将匹配行换成 hello 。

2.3.9 获取下一行 n

示例： sed ‘/meet/{n; s/meet/(&)/;}’ meet.txt ，每次匹配到 meet 时，就读入下一行做处理，如示例中是对下一行的 meet 做添加括号的处理。

3 ． Awk

3.1 何为 Awk

Awk 取名于三个作者的姓氏。它是一种数据驱动的编程语言，用于在 *nix 下对文本和数据进行处理，它支持用户自定义函数和正则表达式，是一种强大的编程工具。

Awk 逐行扫描文件，当该行匹配指定模式时，就对其执行指定操作，直到处理到输入文件末尾。其一般格式为： pattern {action} 。

3.2 Awk 选项

-F fs 指定域分隔符，后跟字符串或 RE

-f scriptfile 从文件中读取 awk 命令，后跟文件名

-v var=val 变量赋值

-W help 显示帮助信息，使用该命令可以查询其它很多选项

3.3 模式

Awk 的模式可以有： / 正则表达式 / 、关系表达式、模式匹配表达式（ ~ 或者 !~ ）、模式，模式（指定范围）、 BEGIN 、 END 。

3.4 操作

Awk 的操作有：输出、变量或数组赋值、函数、逻辑控制。

3.5 主要环境变量

$0 当前记录

$n 当前记录的第 n 个域

FILENAME 当前文件名

FS 域分隔符，默认为任何空格

NF 当前记录的域数目

NR 当前记录数，即行号

FNR 同上，但相对于文件

3.6 基本正则和 POSIX 字符集

参考上述 grep 和 sed 。

3.7 实例

http://blog.youkuaiyun.com/jasonblog/archive/2010/08/10/5801961.aspx

③ 只输出第一个域： #awk ‘{print $1}’ datafile

④ 显示以 350 结尾的行号： #awk ‘/350$/ {print NR}’ datafile

⑤ 用 if 语句输出第一个域为 Sir 的行号： #awk ‘{if($1==”Sir”){print NR}}’ datafile