正则介绍

最新推荐文章于 2025-07-29 16:31:44 发布
最新推荐文章于 2025-07-29 16:31:44 发布
阅读量171 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： awk shell
原文链接：https://my.oschina.net/u/4095969/blog/3034405
本文详细介绍了正则表达式的概念及在grep、sed、awk等Shell工具中的应用技巧，包括行过滤、字符匹配、替换操作及数据处理等核心功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 正则介绍
  • 正则就是一串有规律的字符串。
  • 掌握好正则对于便携shell脚本有很大帮助。
  • 各种编程语言中都有正则，原理是一样的。
  • grep工具 [-cinvABC]'word'filename
  • -c 行数。
  • -i 不区分大小写。
  • -n 显示行号。
  • -v 取反。
  • -r 遍历所有子目录。
  • -A 后面跟数字，过滤出符合要求的行以及下面n行。
  • -B 同上，过滤出符号要求的行以及上面n行。
  • -C 同上，同时过滤出符和要求的行以及上下各n行。
  • grep/egrep示例（egrep就是grep的拓展）
  • grep -n ‘root’ /etc/passwd
  • grep -nv ‘nologin’ /etc/passwd
  • grep ‘[0-9]’ /etc/inittab
  • grep -v ‘[0-9]’ /etc/inittab
  • grep -v ‘^#’ /etc/inittab
  • grep -v ‘^#’ /etc/inittab|grep -v ‘^$’
  • grep ‘^[^a-zA-Z]’ test.txt（^表示在括号外为以什么为开头，在括号内以非什么为开头）
  • grep ‘r.o’ test.txt（.表示为任意字符）
  • grep ‘oo*’ test.txt（*表示为左边字符重复0-n次）
  • grep ‘.*’ test.txt
  • grep ‘o{2}’ /etc/passwd（｛｝表示为前面字符的重复范围）
  • egrep ‘o{2}’ /etc/passwd
  • egrep ‘o+’ /etc/passwd（+表示为左边字符的1-n次）
  • egrep ‘oo?’ /etc/passwd（？表示为问号前面字符的0-1次）
  • egrep ‘root|nologin’ /etc/passwd（|表示为或者）
  • egrep ‘(oo){2}’ /etc/passwd（（）表示为组合）
  • 简单审计系统 http://www.68idc.cn/help/server/linux/2014042190951.html
  • sed工具
  • sed工具与grep工具使用方法基本相同但更麻烦一些，不过也有自己的特点。Sed工具能很好的起到一个替换的作用。
  • p 打印。
  • d 删除（会显示为还剩余的行数和内容）。
  • g 替换。
  • -n 行数。
  • -I 区分大小写。
  • -i 彻底删除。
  • sed ‘1’d test.txt
  • sed ‘1,3’d test.txt
  • sed ‘/oot/’d test.txt
  • sed ‘1,2s/ot/to/g’ test.txt
  • sed ‘s#ot#g’ test.txt
  • sed ‘s/[0-9]//g’ test.txt
  • sed ‘s/[a-zA-Z]//g’ test.txt
  • sed -r ‘s/(rot)(.*)(bash)/\3\2\1/’ test.txt
  • sed ‘s/^.*$/123&/’ test.txt
  • sed -i ‘s/ot/to/g’ test.txt
  • sed -n ‘5’p test.txt
  • sed -n ‘1,5’p test.txt
  • sed -n ‘1,$’p test.txt
  • sed -n ‘/root/’p test.txt
  • sed -n ‘/^1/’p test.txt
  • sed -n ‘in$’p test.txt
  • sed -n ‘/r..o/’p test.txt
  • sed -n ‘oo*’p test.txt
  • sed -e ‘1’p -e ‘/111/’p -n test.txt
  • Sed ‘1’d test.txt
  • Sed ‘1,3’d test.txt
  • Sed ‘/oot/’d test.txt
  • Sed ‘1,2s/ot/to/g’ test.txt
  • Sed ‘s#ot#to#g’ test.txt
  • Sed ‘s/[0-9]//g’ test.txt
  • Sed ‘s[a-zA-Z]’g test.txt
  • Sed -r ‘s/(rot)(.*)(bash)/\3\2\1/’ test.txt
  • Sed ‘s/^.*$/123&/’ test.txt
  • Sed -i ‘s/ot/to/g’ test.txt
  • awk工具
  • awk相较于sed多出的一个功能就是分段。
  • -F 指定分割符。
  • “” 表达为是否针对于数字（加””为针对于字符串，不加””为针对于数字）。
  • head -n2 test.txt|awk -F ‘:’ ‘{print $1}’（以：为分割打印第一列）
  • head -n2 test.txt|awk -F ‘:’ ‘{print $0}’（以：为分割打印所有列）
  • awk -F ‘:’ ‘{print $1”#”$2”#”$3”#”$4}’（以：为分割打印第一、第二、第三、第四列）
  • awk ‘/oo/’ test.txt
  • awk -F ‘:’ ‘$1 ~ /oo/’ test.txt（以：为分割打印有oo的第一段）
  • awk -F ‘:’ ‘/root/ {print $1,$3} /test/ {print$1,$3}’ test.txt
  • awk -F ‘:’ ‘$3==”0”’ /etc/passwd
  • awk -F ‘:’ ‘$3>=”500”’ /etc/passwd
  • awk -F ‘:’ ‘$3>=500’ /etc/passwd
  • awk -F ‘:’ ‘$7!=”/sbin/nologin”’ /etc/passwd
  • awk -F ‘:’ ‘$3<$4’ /etc/passwd
  • awk -F ‘:’ ‘$3>”5” && $3<”7”’ /etc/passwd
  • awk -F ‘:’ “$3>1000 || $7==”/bin/bash”’ /etc/passwd
  • head -5 /etc/passwd |awk -F ‘:’ ‘{OFS=”#”}{print $1,$3,$4}’（将分割符：定义成#）
  • awk -F ‘:’ ‘{OFS=”#”}{if ($3>1000){print $1,$2,$3,$4}}’ /etc/passwd
  • head -n3 /etc/passwd |awk -F ‘:’ ‘{print NF}’（NF为显示段数）
  • head -n3 /etc/passwd |awk -F ‘:’ ‘{print NR}’
  • awk ‘NR>40’ /etc/passwd
  • awk -F ‘:’ ‘NR<=0 && $1 ~ /roo/’ /etc/passwd（NR为显示行数）
  • head -n 3 /etc/passwd |awk -F ‘:’ ‘$1=”root”’
  • awk -F ‘:’ ‘{(tot=tot+$3)}; END {print tot}’ /etc/passwd（到第三段的所有的和）
  • awk -F ‘:’ ‘{if($1==”root”){print $0}}’ /etc/passwd
  • 拓展
  • awk语法结构
  • awk -F ‘:’ ‘BEGIN｛语句｝ ｛if（条件）｛语句1；语句2；语句3｝｝END｛语句｝’ filename
  • 打印某行到某行之间的内容
  • Sed -n ‘/tss/,/sas/p’ /etc/passwd
  • Sed转换大小写
  • 1.把每个达成的第一个小写字母变大写
  • Sed ‘s/\b[a-z]/\u&/g’ filename
  • 2.把所有小写变大写
  • Sed ‘s/[a-z]/\u&/g’ filename
  • 3.大写变小写
  • Sed ‘s/[A-Z]/\l&/g’ filename
  • Sed在某一行最后面添加一个数字
  • Sed ‘s/(^a.*)/\1 12/’ test
  • Sed ‘-r ‘s/(^a.*)/& 12/’ test
  • 打印1到100行含某个字符串的行
  • Sed -n ‘1,100(/abc/p)’ 1.txt
  • Awk中使用外部shell变量
  • A=2；echo“a:b:c:d”|awk -F “:” -v get_a=$a’{print $get_a}’
  • Awk合并一个文件
  • Awk ‘NR==FNR{a[$1]=$2} NR>FNR {print $0,a[$1]}’ 1.txt 2.txt
  • 说明
  • Awk ‘{print NR,FNR}’ 1.txt 1.txt （首先理解NR和FNR的不同（awk支持同时操作多个文件内容））
  • 当NR==FNR其实就是第一个文件的内容
  • 当NR>FNR,其实就是第二个文件的内容
  • 把一个文件多行连接成一行
  • 方法一：awk ‘cat file’;echo $a|
  • 方法二：awk ‘{printf(“%s”,$0)}’ file
  • 方法三：cat file |xarge（相对简单快捷）
  • Awk中gsub行数的使用
  • Awk ‘gsub(/www/,”abc”)’ /etc/passwd（passwd文件中把所有www替换成abc）
  • Awk -F ‘:” ‘gsub(/www/,”abc”,$1){print $0}’ /etc/passwd（替换￥1中的www为abc）
  • 过滤两个或多个关键词
  • Grep -E ‘123|abc’ filename(找出文件（filename）中包含123或abc的行）
  • Egrep ‘123|abc’ filename（用egrep同样可以实现）
  • Awk ‘/123|abc/’ filename（awk的实现方式）
  • Awk用print打印单引号
  • Awk ‘BEGIN{print ”a’ ” ’ ” ’s”}’
  • Awk ‘BENGIN{print ”a’\”s”}’
  • Awk ‘BENGIN{print “a\”s”}’

转载于:https://my.oschina.net/u/4095969/blog/3034405

chuleng8242
关注
正则表达式介绍
王王王渣渣的博客
11-27 685
前言 在日常的开发中，我们常常需要对一些字符串进行验证，例如验证玩家创角的密码是否包含字母、数字、特殊符号，输入的手机号、身份证号码是否正确等等。如果利用遍历字符串的每个字符，来判断是否符合我们想要的条件话，可能需要写一长串繁琐的逻辑代码。但是若使用正则表达式则可以很简单的通过一串特殊定义的字符串来实现我们对字符串的逻辑判断。 ...
正则介绍 grep
weixin_33877092的博客
04-25 168
正则介绍_grep grep（上）grep （缩写来自Globally search a Regular Expression and Print）是一种强大的文本搜索工具，它能使用特定模式匹配（包括正则表达式）搜索文本，并默认输出匹配行。·grep过滤指定关键词，最简单的用法：grep ‘关键词’ 文件名（关键词用单引号引起来）·-c行数·-n显示行号·-i不区分大小写·-v取反（过滤出不带关键...
正则基础介绍
m0_58368794的博客
10-19 345
正则基础介绍
正则的详细讲解（一）
weixin_43499129的博客
03-31 4612
正则的详细讲解-正则介绍（一）正则介绍那么什么是正则？正则到低有什么用呢？正则匹配流程总结 正则介绍 那么什么是正则？ 说起正则，相信大部分小伙伴都听说过，有部分小伙伴还经常使用。 正则表达式（英语：Regular Expression，在代码中常简写为regex、regexp或RE），正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。 正则到低有什么用呢？ 咱们正常的登录功能，手机号登录，因为手机号的可能是移动、联调、电信，而且手机号数量很多，我们怎么去识别用户输入的是数字的，这时我们用
python正则. python正则介绍，及如何使用正则表达式.zip
08-22
python正则. python正则介绍，及如何使用正则表达式.zip
匹配中文汉字的正则表达式介绍
12-13
PS：关于正则，本站还提供了2款非常简便实用的正则表达式工具供大家参考使用： JavaScript正则表达式在线测试工具： http://tools.jb51.net/regex/javascript 正则表达式在线生成工具： http://tool
PHP正则表达式介绍pdf版最新版本
01-10
在本篇介绍中，我们将从历史、基础概念、基础语法等多个维度对PHP中的正则表达式进行详细介绍。 首先，让我们了解一下正则表达式的历史。正则表达式作为一种理论和工具，在20世纪50年代就已经出现了。它的初衷是...
正则介绍 grep
wanli245的博客
04-26 239
1，正则介绍。    正则就是一串有规律的字符串。掌握好正则对shell脚本有很大的帮助，各种编程语言中都有正则，原理是一样的。其实正则表达式只是一种思想、一种表示方法，只要我们使用的工具支持这种表示方法，那么这个工具就可以处理正则表达式的字符串。常用的工具有grep、sed、awk，它们都是对文本的行进行操作的。2.grep/egrep工具。    命令的格式：grep [-cinvABC] '...
正则表达式简介
戴泽王的博客
12-06 1627
正则表达式简介
正则表达式概述
一起加油吧
05-13 1800
文章目录一、正则表达式概述1.1正则表达式定义 一、正则表达式概述 1.1正则表达式定义 正则表达式，又称正规表达式、常规表达 式 使用字符串来描述、匹配一系列符合某个规则的字符串 正则表达式组成 普通字符 大小写字母、数字、标点符号及一些其他符号元字符 .在正则表达式中具有特殊意义的专用字符 正则表达式概述2-2正则表达式层次 基础正则表达式扩展正则表达式 Linux中文本处理工具 — ogrep egrepsedawk 基础正则表达式元字符2-1 基础正则表达式是常用的正则表达式部分除了普通字符外，常
正则表达式
m0_75163045的博客
03-02 8250
95|98|NT|2000)' 匹配"Windows 3.1"中的 "Windows"，但不匹配"Windows 2000"中的"Windows"。=95|98|NT|2000)' 匹配"Windows 2000"中的"Windows"，但不匹配"Windows 3.1"中的"Windows"。序列"\\\\"匹配"\\"，"\\("匹配"("。3. 手机号码：^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$
正则sed awk
chouzhengzi6121的博客
04-09 109
1. sed sed介绍：主要是使用它的查找替换功能 sed命令格式：sed -n 'n'p filename 单引号里面的n是一个数字，表示第几行。 -n选项的作用就是只显示我们要打印的行，无关紧要的内容不显示 常用用法：打印p 删除d 不区分大小些Ip sed -n '5'...
php preg_match_all preg_match 和正规表达式
大任的网络专栏
02-14 2933
php preg_match_all preg_match 的用法详解 菜鸟必备 第一，让我们看看两个特别的字符：‘^’和‘$’他们是分别用来匹配字符串的开始和结束，以下分别举例说明 "^The": 匹配以 "The"开头的字符串; "of despair$": 匹配以 "of despair" 结尾的字符串; "^abc$": 匹配以a
正则表达式三剑客之——awk命令
shengjie87的博客
07-29 3512
awk命令什么是awk工作原理语法格式内建变量配置实例 什么是awk awk本身是一种编程语言，主要用于unix/linux里对文本进行处理，也是一个工具。awk处理数据也是逐行扫描文件，从第一行到最后一行，寻找匹配特定模式的行，在这些行上进行你所要的操作，如果没有处理动作，它也会显示到标准输出（屏幕）如果没有指定模式，那么对所有的行进行处理。我们现在所用的awk其实是gawk [root@server ~]# which awk /usr/bin/awk [root@server ~]# ll /usr/
Linux-awk与sed
最新发布
刘伟的博客
07-29 994
AWK和SED是两种强大的文本处理工具。AWK擅长处理结构化文本数据，支持字段操作、条件筛选、正则匹配等功能，内置变量如$0、$1、NF等便于数据处理，典型应用包括列提取、统计计算和日志分析。SED是流编辑器，主要用于文本替换、删除和插入操作，支持正则表达式，常用命令包括s（替换）、d（删除）、p（打印）等，适合批量修改文本内容。两者都支持多文件处理，AWK还提供BEGIN/END模式进行预处理和总结。
介绍一下正则表达式
06-12
正则表达式（Regular Expression，简称Regex或Regexp）是一种用于匹配字符串中字符组合的模式。在Java中，`java.util.regex`包提供了对正则表达式的支持。通过使用正则表达式，可以实现复杂的字符串匹配、搜索和替换...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值