深入理解 Shell 编程：正则表达式与 sed 文本处理器

最新推荐文章于 2025-12-19 21:59:06 发布
原创 最新推荐文章于 2025-12-19 21:59:06 发布 · 1.4k 阅读 · 36 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#正则表达式 #运维 #Linux #Linux命令 #sed

1. 正则表达式基础

1.1 什么是正则表达式？

正则表达式（Regular Expression，简称 regex/regexp/RE）是一种用于描述字符串模式的规则系统。它通过特定的元字符和语法规则，能够高效地进行字符串的检索、替换和过滤操作。

1.2 正则表达式的主要用途

  • 系统日志分析：快速定位如"登录失败"、"服务启动失败"等关键信息

  • 配置文件解析：提取或修改特定格式的配置项

  • 文本查找与替换：批量处理文本内容

  • 脚本编程：在 Shell 脚本中实现复杂的条件匹配

1.3 Linux 中的正则表达式分类

1.3.1 基础正则表达式（BRE）

  • 传统正则表达式语法，功能相对有限

  • 量词 {} 需要转义为 \{n,m\}

  • +, ?, () 等特殊字符需要转义

  • 常用工具：grep、sed（默认模式）

1.3.2 扩展正则表达式（ERE）

  • 功能更强大，语法更简洁

  • +, ?, (), {}, | 等元字符无需转义

  • 常用工具：egrep（或 grep -E）、awk

1.4 正则表达式组成元素

1.4.1 普通字符

字母、数字、标点符号等普通字符，匹配它们自身。

1.4.2 元字符

  • .：匹配任意单个字符（除换行符 \r\n 外）

  • []：匹配字符集合中的任意一个字符，如 [a-z], [0-9], [A-Z]

  • [^]：匹配不在指定字符集合中的任意一个字符

  • ^：匹配行首位置

  • $：匹配行尾位置

  • \：转义字符，用于取消元字符的特殊含义

1.4.3 重复次数限定符

  • *：匹配前面的子表达式 0 次或多次

  • \+：匹配前面的子表达式至少 1 次

  • \{n\}：匹配前面的子表达式恰好 n 次

  • \{n,m\}：匹配前面的子表达式 n 到 m 次

  • \{n,\}：匹配前面的子表达式至少 n 次

1.4.4 扩展正则表达式特有元字符

  • +：匹配前面的子表达式 1 次或多次

  • ?：匹配前面的子表达式 0 次或 1 次

  • |：或操作，匹配多个模式中的任意一个

  • ()：分组，将多个模式组合为一个单元

  • ()+：匹配重复的组模式

2. grep 工具：条件查找利器

2.1 常用选项

  • -E：启用扩展正则表达式

  • -c：统计匹配行的数量

  • -i：忽略大小写进行匹配

  • -o：只输出匹配的内容

  • -v：反向匹配，输出不包含模式的行

  • -n：显示匹配行的行号

  • --color=auto：高亮显示匹配内容

2.2 使用示例

统计包含 root 的行数
grep -c root /etc/passwd

不区分大小写匹配 the
grep -i "the" web.sh

输出不包含 root 的行
grep -v root /etc/passwd

提取 IP 地址
grep -o '[0-9]\+\.[0-9]\+\.[0-9]\+\.[0-9]\+' ifconfig.out | head -1

3. sed：流编辑器深度解析

3.1 什么是 sed？

sed（Stream Editor）是一种流式文本编辑器，它能够根据预先提供的脚本指令来处理、编辑文本文件。sed 主要用于自动化编辑一个或多个文件、简化重复性文件操作以及编写文本转换程序。

3.2 sed 的工作原理

sed 的工作流程包含三个核心步骤：

  1. 读取：从输入流（文件、管道或标准输入）中读取一行内容到模式空间（pattern space）

  2. 执行：按顺序执行所有 sed 命令，除非指定了行地址限制

  3. 显示：将处理后的内容发送到输出流，然后清空模式空间

特别注意：默认情况下，sed 不会直接修改源文件，所有操作都在模式空间中进行，处理结果输出到标准输出。如需修改源文件，需使用 -i 选项。

3.3 sed 命令语法

sed [选项] '操作' 文件
sed [选项] -f 脚本文件 文件

3.4 常用选项

  • -e：允许多个编辑指令

  • -f：指定包含 sed 脚本的文件

  • -n：抑制默认输出，只显示处理后的结果

  • -i[扩展名]：直接编辑文件（可选的扩展名用于备份原文件）

  • -r 或 -E：使用扩展正则表达式

3.5 常用操作命令

  • p：打印模式空间的内容

  • d：删除模式空间的内容

  • s/模式/替换/标志：替换操作

  • a\文本：在指定行后追加文本

  • i\文本：在指定行前插入文本

  • c\文本：替换整行内容

  • y/原字符/目标字符/：字符转换

3.6 sed 使用示例

3.6.1 输出特定内容
输出第3行
sed -n '3p' demo.txt

输出3-5行
sed -n '3,5p' demo.txt

输出所有奇数行
sed -n 'p;n' demo.txt

输出包含"the"的行
sed -n '/the/p' demo.txt
3.6.2 删除特定内容
删除第3行
nl demo.txt | sed '3d'

删除3-5行
nl demo.txt | sed '3,5d'

删除包含"cross"的行
nl demo.txt | sed '/cross/d'
3.6.3 替换文本内容
将每行第一个"the"替换为"THE"
sed 's/the/THE/' demo.txt

将全局所有"the"替换为"THE"
sed 's/the/THE/g' demo.txt

将3-5行中的所有"the"替换为"THE"
sed '3,5s/the/THE/g' demo.txt
3.6.4 迁移和插入文本
将包含"the"的行迁移至文件末尾
sed '/the/{H;d};$G' demo.txt

在第3行后插入新行
sed '3a\New Line' demo.txt

在包含"the"的每行后插入新行
sed '/the/a\New Line' demo.txt

3.7 生产环境应用案例

案例1：修改网络配置
将ens33接口的IP地址修改为192.168.10.100
sed -i 's/^IPADDR=.*/IPADDR=192.168.10.100/' /etc/sysconfig/network-scripts/ifcfg-ens33
案例2：调整Apache配置
修改监听地址和端口
sudo sed -i 's/^Listen .*/Listen 192.168.10.100:8080/' /etc/httpd/conf/httpd.conf

修改服务器名
sed -i 's/^#ServerName .*/ServerName 192.168.10.100:8080/' /etc/httpd/conf/httpd.conf
案例3：自动化配置vsftpd服务
#!/bin/bash
配置vsftpd服务：禁止匿名用户，允许本地用户写入

SAMPLE="/usr/share/doc/vsftpd-3.0.2/EXAMPLE/INTERNET_SITE/vsftpd.conf"
CONFIG="/etc/vsftpd/vsftpd.conf"

备份原配置文件
[ ! -e "$CONFIG.bak" ] && cp $CONFIG $CONFIG.bak

基于样本配置进行调整
sed -e '/anonymous_enable/s/YES/NO/g' $SAMPLE > $CONFIG
sed -i -e '/local_enable/s/NO/YES/g' -e '/write_enable/s/NO/YES/g' $CONFIG

确保监听设置
grep "listen" $CONFIG || sed -i '$a\listen=YES' $CONFIG

重启服务
systemctl restart vsftpd
systemctl enable vsftpd

4. 高级技巧与最佳实践

4.1 分组操作

当需要对一行数据执行多个操作时，可以使用分组功能：

多次替换操作
sed '/root/ {s/root/ROOT/; s/bash/BASH/}' /etc/passwd

使用分组提取IP地址
ifconfig ens33 | sed -rn '2s/.*inet ([0-9.]+).*/\1/p'

4.2 使用脚本文件

对于复杂的sed操作，可以将其保存到脚本文件中：

创建sed脚本
cat > script.sed << EOF
1,5 {
  H
  d
}
16G
EOF

使用脚本文件处理文本
sed -f script.sed demo.txt

4.3 性能优化建议

  1. 减少回溯：编写精确的正则表达式，避免过度使用通配符

  2. 使用地址限定：尽可能指定操作的行范围，减少不必要的处理

  3. 合并操作：将多个操作合并到一个sed命令中，减少IO开销

  4. 避免不必要的捕获组：只捕获需要的内容，提高匹配效率

5. 总结

正则表达式和sed是Shell编程中极其强大的文本处理工具组合。通过本文的详细讲解，我们了解到：

  1. 正则表达式提供了强大的模式匹配能力，分为基础正则表达式和扩展正则表达式两种类型，各自适用于不同的场景和工具。

  2. grep是基于正则表达式的文本搜索工具，适合快速查找和过滤文本内容。

  3. sed作为流编辑器，不仅支持模式匹配，还提供了丰富的文本转换功能，包括删除、替换、插入、迁移等操作。

  4. 在实际生产环境中，sed常用于批量修改配置文件、日志处理、数据提取等任务，结合正则表达式可以实现高度自动化的文本处理流程。

  5. 掌握分组操作、脚本文件和性能优化技巧，能够大幅提高文本处理的效率和准确性。

正则表达式和sed的学习曲线可能较陡峭，但一旦掌握，它们将成为日常系统管理和软件开发中不可或缺的利器。建议通过实际案例不断练习，逐步熟悉各种元字符和命令选项的用法，最终达到熟练运用的水平。

Peterrrr0911
关注
Shell编程之正则表达式与文本处理器
潇的博客
05-29 980
正则表达式又称正规表达式、常规表达式。在代码中常简写为regexregexp或RE。正则表达式是使用单个字符串来描述、匹配一系列符合某个句法规则的字符串，简单来说，是一种匹配字符串的方法，通过一些特殊符号，实现快速查找、删除、替换某个特定字符串。正则表达式是由普通字符与元字符组成的文字模式。模式用于描述在搜索文本时要匹配的一个或多个字符串。正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。
Shell 编程之正则表达式与文本处理器
m0_74860678的博客
06-20 1317
基础正则表达式常见元字符元字符作用匹配输入字符串的开始位置。除非在方括号表达式中使用，表示不包含该字符集合。要匹配“^” 字符本身，请使用“\^”匹配输入字符串的结尾位置。如果设置了RegExp 对象的 Multiline 属性，则“$”也匹配‘\n’或‘\r’。要匹配“$”字符本身，请使用“\$”匹配除“\r\n”之外的任何单个字符反斜杠，又叫转义字符，去除其后紧跟的元字符或通配符的特殊意义匹配前面的子表达式零次或多次。要匹配“*”字符，请使用“\*”[]字符集合。
Linux shell编程之正则表达式与文本处理器
2501_91557222的博客
05-12 1054
正则表达式又称正规表达式、常规表达式。在代码中常简写为regex、regexp 或 RE。正则表达式是使用单个字符串来描述、匹配一系列符合某个句法规则的字符串，简单来说,是一种匹配字符串的方法通过一些特殊符号，实现快速查找、删除、替换某个特定字符串常见的文本处理器有（grep pgrep sed awk)以及应用比较广泛的 Python 语言正则表达式具备很强大的文本匹配功能，能够在文本海洋中快速高效地处理文本通过上面几个简单的示例，可以了解到常见的基础正则表达式的元字符主要包括以下几个字符说明。
Shell 编程之正则表达式 与文本处理器
m0_71548847的博客
06-25 1327
正则表达式的定义正则表达式又称正规表达式、常规表达式。在代码中常简写为regex、regexp 或 RE。正则表达式是使用单个字符串来描述、匹配一系列符合某个句法规则的字符串，简单来说,是一种匹配字符串的方法，通过一些特殊符号,实现快速査找、删除、替换某个特定字符串。正则表达式是由普通字符与元字符组成的文字模式。模式用于描述在搜索文本时要匹配的一个或多个字符串。正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。
Shell 编程：正则表达式与文本处理器
jstjx__ml的博客
09-01 666
定义：一种用于描述字符串匹配模式的规则，简称 regex/regexp/RE。核心功能：检索、替换、过滤符合特定规则的文本。
shell编程之正则表达式与文本处理器（shell脚本）
2401_85084312的博客
06-25 1419
正则表达式又称正规表达式、常规表达式。在代码中常简写为 regex、regexp或 RE。
shell编程之正则表达式与文本处理器
weixin_51013503的博客
11-08 488
文章目录一、正则表达式1.正则表达式定义2.元字符3.表示次数4.位置锚定5.分组或其他6. 扩展正则表达式二、文本处理工具1.grep2.sed基本用法搜索和替代3.awk 一、正则表达式 1.正则表达式定义 正则表达式，又称正规表达式、常规表达式 使用字符串来描述、匹配一系列符合某个规则的字符串 正则表达式组成 普通字符： 大小写字母、数字、标点符号及一些其他符号 元字符： 在正则表达式中具有特殊意义的专用字符 2.元字符 . 匹配任意单个字符，可以是一个汉字 [] 匹配指定范围内的任意单个字
04、Shell编程之正则表达式与文本处理器
06-25
本章所使用到的命令，文件内有grep、sed、awk部分命令
小阿轩yx-Shell编程之正则表达式与文本处理器
2401_83435725的博客
05-29 1060
小阿轩yx-Shell编程之正则表达式与文本处理器
Qt基础篇：正则表达式基础知识&&QRegularExpression用法
欧特GO
12-17 547
本文重点介绍了正则表达式基础知识点和实用场景代码。正则表达式是用于字符串匹配的逻辑公式，由普通字符和元字符组成。基础语法包括字符匹配、限定符控制出现次数、字符类定义范围、分组捕获子串等。常用场景如邮箱验证（匹配用户名@域名格式）和手机号验证（1开头+特定数字组合）。正则表达式能高效处理文本查找、替换和验证任务，是编程中强大的文本处理工具。
【RegExp】正则表达式 - 基础语法
Tranquil_ovo的博客
12-16 1060
正则表达式基础
Jmeter性能测试-用正则表达式取关联参数：单个正则模版和多个正则模版
chang_jinling的专栏
12-19 148
Python的正则表达式如何做数据校验
得塔云的博客
12-16 593
本文介绍了如何使用Python正则表达式进行数据校验。重点讲解了re.fullmatch()方法在验证完整字符串匹配时的优势，并通过三个常见案例(邮箱、手机号和用户名)展示了正则表达式的应用。文章强调使用原始字符串r""定义模式，并建议从简单模式开始逐步完善。最后推荐了在线工具regex101.com来辅助调试复杂的正则表达式。掌握这些技巧可以大幅提升数据校验的效率和准确性。
【JavaSE】Stream API && Optiona类 && 正则表达式
lirendada的博客
12-18 801
本文介绍了Java 8 Stream API和Optional类的核心用法。Stream API分为创建、中间操作和终止操作三类，支持链式调用和延迟执行，提供丰富的集合处理功能。Optional类用于安全处理可能为null的值，通过明确的方法避免空指针异常。文中详细列举了Stream的创建方式、中间操作方法（如filter、map等）和终止操作方法（如collect、reduce等），以及Optional的常用方法（如ofNullable、orElse等），帮助开发者更优雅地处理集合和空值问题。
Python的正则表达式入门：从小白到能手
得塔云的博客
12-16 761
别被这个名字吓到。你可以把它想象成一种描述文本模式的“语法”。就像我们用号在文件搜索里代表“任意多个字符”一样，正则表达式也有一套自己的特殊符号，用来定义一个“模式”（Pattern）。然后，我们可以用这个“模式”去匹配、查找、替换符合规则的文本。它就像一个为文本定制的“搜索引擎”，强大到超乎想象。正则表达式初看起来像一堆乱码，但一旦你掌握了它的基本语法，就会发现它处理文本的强大能力。给新手的建议不要贪多求全：先掌握?[]\d\w这些最常用的。动手实践。
nginx的proxy_pass的配置后是否添加斜杠的区别
Tomatoes的博客
12-17 237
即：proxy_pass http://ip/ + (原始请求URI 去除 location匹配的URI)即：proxy_pass http://ip + (原始请求URI)Nginx 会将 location 匹配到的那部分路径替换为 /。示例请求 http://domain.com/api/user/1。Nginx 会将完整的原始请求路径追加到代理服务器的地址后面。
【时间之外】创业踩坑指南（4）-招人如编程
最新发布
知止不殆
12-19 756
不要迷信“高学历”，不要轻信“承诺”，不要省“背调”的钱。 招对人，公司就成功了一半。
MobaXterm 高效运维实战：从入门到进阶的 Linux 运维 “瑞士军刀” 用法
hy行者勇哥的博客
12-18 834
MobaXterm 作为 Linux 运维的 “全能工具包”，不仅集成了 SSH 终端、SFTP 文件传输、X11 图形转发等基础功能，更隐藏着批量执行、宏命令、会话分组等高级特性，能轻松解决新手常遇到的 “重复操作繁琐”“多服务器切换麻烦”“文件传输低效” 等痛点。本文用 “运维指挥中心” 的通俗比喻，拆解 MobaXterm 的核心架构，针对 Linux 运维中的高频问题，分享可直接上手的高级技巧与自动化脚本案例，帮助新手快速从 “手动跑腿” 升级为 “高效指挥”，大幅提升运维效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值