32、正则表达式：sed和gawk中的数据过滤利器

正则表达式：sed和gawk中的数据过滤利器

1. sed和gawk简介

在处理文本数据时，仅依靠shell脚本往往难以满足需求。Linux提供了两个实用工具：sed编辑器和gawk程序。

• sed编辑器 ：是一种流编辑器，能在读取数据时“即时”处理数据。使用时需为其提供编辑命令列表，它会将这些命令应用于数据。
• gawk程序 ：是GNU组织的实用工具，模仿并扩展了Unix awk程序的功能。awk程序内置了一种编程语言，可用于编写处理和分析数据的脚本。借助gawk程序，能从大型数据文件中提取数据元素，并以所需的任何格式输出，这使得处理大型日志文件和从数据文件创建自定义报告变得轻而易举。

正则表达式是有效使用sed编辑器和gawk程序的关键，它能创建自定义过滤器，用于提取和操作文本文件中的数据。

2. 正则表达式的定义

正则表达式是一种模式模板，Linux实用工具可使用它来过滤文本。当数据流入实用工具（如sed编辑器或gawk程序）时，该工具会将正则表达式模式与数据进行匹配。若数据与模式匹配，则被接受处理；若不匹配，则被拒绝。

正则表达式模式利用通配符来表示数据流中的一个或多个字符。在Linux中，有许多场景可使用通配符表示未知数据，例如使用 ls 命令列出文件和目录时：

$ ls -al da*
-rw-r--r-- 1 rich rich 45 Nov 26 12:42 data
-r