正则表达式、sed、awk工具应用

最新推荐文章于 2024-10-16 10:43:00 发布
最新推荐文章于 2024-10-16 10:43:00 发布
阅读量484 收藏
点赞数
分类专栏： linux shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44164710/article/details/115952682
版权
本文介绍了正则表达式的应用，包括基本和扩展类型，如元字符、匹配次数等。接着讲解了sed工具的常见选项、操作及实际应用场景，如删除、替换文本。最后探讨了awk的内建变量和使用方法，如输出特定列信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、 基本正则表达式

元字符类型：

^：匹配字符串开始内容
$：匹配字符串结束内容
. ：匹配任意字符
* ：匹配前面的字符0次或多次
[ ] ：匹配括号里任意一个
[^ ] : 匹配未包含括号里面的字符
[n1-n2]：字符范围
{n} ：匹配前面字符n次
{n,} ：匹配前面字符最少n次
{n,m} : 匹配前面字符最少n次，最大m次
\：字符转义

基本正则表达式应用
  1. 查询以the开始的行
    在这里插入图片描述
  2. 查询包含o的行（后面两个任意字符）
    在这里插入图片描述
  3. 匹配至少有两个o的行
    在这里插入图片描述
  4. 匹配[ ]中任意字符的行
    在这里插入图片描述
  5. 匹配不包含[ ]中的字符加^
    在这里插入图片描述
  6. 匹配以小写字母开始的行
    在这里插入图片描述
  7. 匹配包含两个o的行
    在这里插入图片描述
  8. 包含两个或多个o的行
    在这里插入图片描述

扩展正则表达式

+：重复上一个字符多次或一次
？：零个或一个前面的字符
| ：或者
()：组字符串
()：辨别多个重复的组

扩展正则表达式应用（使用egrep进行查看）
  1. 查询包含一个或多个o的行
    在这里插入图片描述
  2. 匹配前面任意字符
    在这里插入图片描述
  3. 查询包含he或者HE的行
    在这里插入图片描述
  4. 查询组应用匹配组中任意一个
    在这里插入图片描述
  5. 匹配包含o或者多个o以w开始d结束的行
    在这里插入图片描述

二、 使用sed工具

1. 常见的选项

-e 用命令或脚本来处理输入的文本
-f 用指定的脚本文件来处理输入的文本文件
-h 帮助
-n 表示显示处理后结果
-i 直接编辑文本文件

2. 常见的操作

a ：增加，在当前行的下面增加一行指定内容
c ：替换，选定行替换为指定内容
d ：删除，删除原定行
i ：插入，在选定行上面插入一行指定内容
p ：打印信息
s ：替换，替换指定字符
y ：字符转义

3. Sed的应用

查询1到5之间的奇数行
在这里插入图片描述
删除第3行内容
在这里插入图片描述
替换文件中所有the为THE
在这里插入图片描述

三、 awk的应用

1. awk的内建变量

FS ：指定每行文本的字段分隔符
NF ：当前处理的行的字段个数
NR ：当前处理的行的行号
$0 ：当前处理的整行内容
$n : 当前处理的行（n第几列）
FILENAME ：被处理的文件名
RS ：数据记录分割

2. awk的使用

输出文本内容
在这里插入图片描述
输出第一列内容
在这里插入图片描述
查看第一行和第二行
在这里插入图片描述
查看第1列和第3列信息以：为分隔符（F表示以什么分隔）
在这里插入图片描述

Linux运维实战：AWK用法详解
leibaiqing的专栏
06-28 2199
需要提醒的一点是，在实际使用过程中，建议根据具体需求查阅AWK相关文档，并灵活运用各种命令和函数，以达到更高效的数据处理效果。在这个例子中，“NR==FNR”表示正在处理第一个文件，“a[$0]=1”创建了一个名为“a”的数组，并将文件中的行作为关键字存储在该数组中。在这个例子中，我们首先遍历文件的每一行，然后对每一行中出现的单词进行计数，存储在数组count中。AWK是一种可以进行文本处理和分析的强大工具，尤其在Linux运维中，AWK的高级应用可以节省很多时间和精力。最后，使用print语句输出结果。
sed 正则表达式
二进制君
12-05 1324
sed是强大，高效的处理正则表达式。一些复杂的任务，可以解决简单的正则表达式。任何命令行专家都知道正则表达式的威力。本教程介绍了标准的正则表达式，POSIX类的正则表达式和元字符。考虑我们有一个文本文件 books.txt 将被处理，它有以下内容： 标准的正则表达式 行开始 (^) ​ 插入符号(^)符号用于一行的开始匹配。下面的例子打印所有的启动与模式“the”行。 ​ 执行上面的代码，会得到如下结果： 行尾 ($) ​ 行尾是由美元符号（$）符号表示。下面的例子打印“Coelho”结尾的行。 ​ 执行上
sed用法
william_djj的专栏
09-05 373
sed用法sed的元字符有.*[]^${}\+?|()元字符用法：除^外，其他符号在[]内如果要匹配自己本身字符要加\,否则是元字符的意义。^在[]内开头表示否定，在[]内的其他地方表示本身字符\(<expresion>\) 括号的分组用法\{1,4\} 限制次数的用法*   前面的字符0个或多个\+  前面的字符1个或多个&   在替换域中使用表示整个匹配部分，如s/ha...
linux awk判断字符串开头,awk正则匹配列中指定的字符
weixin_39536010的博客
04-30 2886
awk正则匹配列中指定的字符★ 范例一◆ 打印指定列中匹配80开头并以80结束的行● 关系符号注释~ 关系操作符~ 匹配正则!~ 不匹配正则[root@linuxidc ~]# cat a.txtafjdkj 80lkdjfkja 8080dfjj 80jdsalfj 808080jasj 80jg 80linuxidc 8080 ajfkjasf 8080 linuxidc[root@xingf...
正则表达式及示例（shell）
spring℡
11-25 4163
1、正则表达式常用选项 -E -P -e -o -n -i -v -w 2、基本正则表达式 ^ $ . * [] [^str] [a1-a2] \b、 \< \b、 \> 正则表达式字符集 [[:alnum:]] [[:digit:]] [[:lower:]] [[:upper:]] [[:alpha:]] [[:space:]] [[:blank:]] [[:graph:]] [[:print:]] [[:cntrl:]]
shell中sed正则表达式匹配,各种括号的转义和不转义
qq_42969854的博客
11-03 3351
[ ] 需要匹配的时候，需要转义(这个是叛徒) echo "[ ]"|sed 's/\[.*\]/aaa/g' ( ) 需要匹配的时候，不要转义 echo "( )"|sed 's/( )/c/g' { } 需要匹配的时候，不要转义 echo "{ }"|sed 's/{ }/c/g' 当需要匹配数字，字母等使用中括号时候[]不要转义 但使用{}大括号作为特殊字符时候，{}需要转义。 echo "333"|sed 's/[0-9]\{3\}/ccc/g' 当需要适配符，需要使用\1来替换正则表达
Shell正则表达式之grep、sed、awk实操笔记
09-15
### Shell正则表达式之grep、sed、awk实操笔记 #### 一、概述 本文主要探讨了在Shell脚本编程中如何运用`grep`、`sed`与`awk`结合正则表达式来实现一些具体的需求。这些工具在文本处理方面极其强大，通过灵活运用...
linux正则表达式awk详解
10-23
在Linux系统中，正则表达式和awk工具是文本处理的强大武器，正则表达式提供了一种灵活的搜索和匹配模式，而awk则是一个强大的文本分析工具，它可以对文本文件进行模式扫描和处理。本文将深入探讨awk在Linux环境中的...
grep、sed、awk、perl等对正则表达式的支持的差别
11-01
在IT领域，文本处理是日常工作中不可或缺的一部分，而grep、sed、awk和perl这四个工具在处理文本时都广泛地使用了正则表达式。它们各自有着不同的特性和适用场景，理解它们之间的差异有助于我们更高效地进行文本操作...
掌握基础：Shell脚本与正则表达式sed awk应用
在sed和awk这两个强大的文本处理工具中，正则表达式起着核心作用。 sed是一个流编辑器，用于在输入数据流中进行查找、替换和删除等操作。在使用sed时，你可以通过正则表达式指定查找模式（/pattern/），然后定义...
linux上sed的常用操作
最新发布
松果177的博客
10-16 1023
linux上sed的常用操作
正则表达式和sed
m0_71999868的博客
08-27 2365
sheel的正砸表达式以及sed的基础运用
shell 脚本入门--sed命令匹配
大圣编了个程
09-08 1万+
转载： http://man.linuxde.net/sed简介sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件
shell编程之sed编辑器
m0_58076958的博客
06-13 569
本章主要介绍了sed的使用方法
linux sed 正则匹配字符串,正则表达式grep，sed
weixin_30356603的博客
05-03 2553
HTTP一个简单的网页文件service iptables stopecho “I LOVE YOU” > /var/www/html/index.html文本排序sortsort 1.txt排序规则先数字后字母，小写字母在前。sort -t “:” -k3 /etc/passwd用用户的UID排序，按字符大小。(等于tr -d f)sort -t “:” -k3 -n /etc/pass...
linux sed 匹配单词,Linux正则sed的用法
weixin_28764585的博客
05-26 1719
*sed可以实现一些grep的功能，但是稍微麻烦了一些，sed的强项在于删除文件中的内容和替换sed实现grep检索功能：1.根据关键字检索：[root@localhost ~]# sed -n '/root/'p passwd.txt*使用sed检索时需要在关键字前加-n参数，关键字后加p，关键词还需要用 // 包括起来2.关键字有特殊符号时加上 -r 参数或使用脱义符[root@localho...
sed引用所有匹配到的字符串
CX19970的博客
03-27 2504
使用 & 符号
sed 提取匹配的字符串内容
热门推荐
程序员码工的专栏
03-05 2万+
# STR="MAIL FROM(CCC) TO(DDD)" #echo $STR | sed -n 's/.*FROM(\([^)]\{1,\}\)).*TO(\(.*\))/\1-\2/g'p 提取括号里面的内如 STR="MAIL FROM(ABCD) BODY" echo $STR | sed 's/^.*FROM(\(.*\)).*$/\1/g'      # A
Sed 命令详解 & 正则表达式
ljzcom的专栏
03-16 2万+
1.简介sed是非交互式的编辑器。它不会修改文件，除非使用shell重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件（或输入），并将结果发送到屏幕。具体过程如下：首先sed把当前正在处理的行保存在一个临时缓存区中（也称为模式空间），然后处理临时缓冲区中的行，完成后把该行发送到屏幕上。sed每处理完一行就将其从临时缓冲区删除，然后将下一行读入，进行处理和显示。处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值