精通正则表达式

部门内部培训的时候写的资料,系统化讲解了正则表达式,有点难理解,不明白的可以留言。

用途

正则表达式是一种匹配文本中字符序列的字符模式。

主要用途

  • 查找字符序列;
  • 对字符序列进行符合性测试。
  • 简单的归结一句话:判断一个字符序列是否与一个模式相匹配

使用场景

  • 文本编辑工具:vim、word等
  • Linux命令工具:sed、grep、目录匹配等
  • 开发语言:java、scala、python、mysql等

使用难点

  • 空格会导致含义改变
  • 没有统一的语法标准
  • 各种实现之间有差别
  • 不同环境下的字符含义不同
  • 一个问题对应多个解决方法 

语法

  • 直接量字符,特定的字母序列或者数字
  • 限定符,设定匹配的次数
  • 元字符,就是用于传达非自身含义的字符。
  • 修饰符,用来修饰如何完成搜索。
  • 字符类,字符类用于匹配字符集合中的任何一个字符
  • 位置元字符,匹配位置的元字符
  • 圆括号,可以创建一个或者多个字符边界

直接量字符

  • 匹配单个字符,只需要使用由相应的字符或者数字组成模式就可以。例如匹配大写字母A,用A模式就可以。
  • 匹配多个字符序列,多个字符序列组成的模式。例如匹配rr字符串的模式,用rr就可以。
  • 如果模式中不设定一个限定符来指定次数,默认模式中的字符或者字符序列恰好出现一次。

限定符

  • 匹配可选字符,?模式表示出现零次或者一次,例如,匹配sen和shen,可以用模式sh?en
  • *限定符,匹配零次或者多次。例如,abc,abc12,abc123三个字符串可以用模式abc[0-9]*
  • +限定符,匹配一次或者多次
  • {n},匹配多次abc[0-9]{3}
  • {n,m},最少匹配n次,最多匹配m次。例如{0,m},{n,}代表至少n次,最多无限次

元字符

  • 元字符,匹配任何字母字符,也可以匹配数字。优势是使用广泛、劣势替换是使用比较危险。
  • \w元字符,匹配英文字母字符、数字和下划线。不匹配象形文字,标点符号。
  • \W元字符,匹配\w不匹配的字符。
  • \d元字符,匹配0~9的数字
  • \D元字符,匹配\d不匹配的字符。
  • \s元字符,匹配任何单个空白字符。可以匹配一个空格符、一个制表符和一个换行符。
  • \S元字符,任何非空白字符,换行符能不能匹配根据具体设置
  • \t元字符,匹配制表符
  • \n元字符,匹配换号符
  • \元字符,可以用来转移元字符。例如\.代表直接量字符.

字符类

  • 两个字符选择,wen和ren字符可以用[wr]en模式匹配,这种情况也可以用圆括号表示。
  • 和限定符连用,字符串可以与限定符连用,注意AA23和BB19,[AB][0-9]*模式会匹配
  • \b、-、^、$在字符串中都要特殊含义,\b代表退格符、-代表分隔符、^代表取反,$代码本身
  • 字符类中使用范围,使用范围是模式更简单,例如[a-z]、[A-Z]、[0-9]、[a-zA-Z]、[A-z]
  • 反转字符范围,用^元字符对范围取反,例如[^a-z]代表匹配非[a-z]的字符,^不在首位代表字符本身。
  • -字符代表连接符,-放到[之后代表本身
  • 组合取反,[A-Z&&[^B-D]],匹配A-Z直接但是不在B-D之间

位置元字符

  • ^元字符,匹配一行或者字符串开始位置
  • $元字符,匹配一行或者字符串的结束位置
  • 匹配空白行,^$
  • \<元字符,匹配词的开始边界,它的前面包括一个非字母字符或者一行的开始
  • \>元字符,匹配词的结尾边界。
  • \b元字符,匹配词的边界
  • \B元字符,匹配非词的边界

圆括号

圆括号和限定符,例如,需要匹配多个字符出现多次,可以用圆括号包括字符和限定符结合,(A\d){3}可以匹配A1A2A3
交替选择,可以支持二选一和多选一,和|结合,|代表逻辑或的意思,例如(a|b)、(wen|wsl)

灵敏度和特殊性

  • 尽可能确保匹配想要匹配的文本和尽可能的匹配不想要匹配的文本
  • 灵敏性是指模式匹配的能力。特殊性是指模式选择的字符序列是所要选择的字符序列的能力
  • 灵敏度越高,则表明找到的真正匹配项数量接近要找的全部匹配项。而特殊性(针对性)越高,则表明找到的匹配项中正确的匹配项越多。
  • 正确的个数、找到的个数、要找的个数
  • 灵敏度=正确的/要找的,特殊性=正确的/找到的
  • 例如要找100个,实际找到150个,而其中有100个正确的,则灵敏性为100%,特殊性为66.7%
  • 极端的灵敏性和糟糕的特殊性,假设从文本中匹配ABC,使用模式.*,灵敏度很容易达到100%, 但是特殊性太差,会匹配所有的字符。
  • 灵敏度和特殊性的平衡,100%的灵敏性和100%的特殊性是理想状态。
  • 一般来说使用的元字符越多,特殊性越高,同时也有可能降低灵敏性。
  • 要了解处理的数据,只有真正了解数据才能提高灵敏性和特殊性。
  • 缩写词、非英文字符、拼写错误等都需要考虑

注意的问题

  • 代码中说明正则表达式的用意,同时要加注释
  • 表达式中不要使用多余的空格
  • 元字符在表达式中需要转义,使用\转义
  • 能使用字符串函数不要使用正则表达式,因为正则表达式容易出错、性能低

具体使用

word


Vim

  • Vim中使用/正则表达式进行搜索,使用:s/正则表达式/替换字符串/选项进行替换
  • 与标准语法区别

java

  • Java中使用java.util.regex包实现正则表达式
  • Pattern 对象是一个正则表达式的编译表示。
  • Matcher 对象是对输入字符串进行解释和匹配操作的引擎。。
  • PatternSyntaxException 是一个异常类,它表示一个正则表达式模式中的语法错误。
  • Java中基本支持正则表达式的标准语法

scala

  • Scala支持原生正则表达式,使用Regex类表示
  • Scala 的正则表达式继承了 Java 的语法规则

Mysql

  • Mysql中使用REGEXP操作符使用正则表达式
  • Mysql支持的语法


精通正则表达式第三版 搜集于网络 前言..........I 第1章:正则表达式入门.... 1 解决实际问题... 2 作为编程语言的正则表达式... 4 以文件名做类比... 4 以语言做类比... 5 正则表达式的知识框架... 6 对于有部分经验的读者... 6 检索文本文件:Egrep. 6 Egrep元字符... 8 行的起始和结束... 8 字符组... 9 用点号匹配任意字符... 11 多选结构... 13 忽略大小写... 14 单词分界符... 15 小结... 16 可选项元素... 17 其他量词:重复出现... 18 括号及反向引用... 20 神奇的转义... 22 基础知识拓展... 23 语言的差异... 23 正则表达式的目标... 23 更多的例子... 23 正则表达式术语汇总... 27 改进现状... 30 总结... 32 一家之言... 33 第2章:入门示例拓展.... 35 关于这些例子... 36 Perl简短入门... 37 使用正则表达式匹配文本... 38 向更实用的程序前进... 40 成功匹配的副作用... 40 错综复杂的正则表达式... 43 暂停片刻... 49 使用正则表达式修改文本... 50 例子:公函生成程序... 50 举例:修整股票价格... 51 自动的编辑操作... 53 处理邮件的小工具... 53 用环视功能为数值添加逗号... 59 Text-to-HTML转换... 67 回到单词重复问题... 77 第3章:正则表达式的特性和流派概览.... 83 在正则的世界中漫步... 85 正则表达式的起源... 85 最初印象... 91 正则表达式的注意事项和处理方式... 93 集成式处理... 94 程序式处理和面向对象式处理... 95 查找和替换... 98 其他语言中的查找和替换... 100 注意事项和处理方式:小结... 101 字符串,字符编码和匹配模式... 101 作为正则表达式的字符串... 101 字符编码... 105 正则模式和匹配模式... 110 常用的元字符和特性... 113 字符表示法... 115 字符组及相关结构... 118 锚点及其他“零长度断言” 129 注释和模式量词... 135 分组,捕获,条件判断和控制... 137 高级话题引导... 142 第4章:表达式的匹配原理.... 143 发动引擎... 143 两类引擎... 144 新的标准... 144 正则引擎的分类... 145 几句题外话... 146 测试引擎的类型... 146 匹配的基础... 147 关于范例... 147 规则1:优先选择最左端的匹配结果... 148 引擎的构造... 149 规则2:标准量词是匹配优先的... 151 表达式主导与文本主导... 153 NFA引擎:表达式主导... 153 DFA引擎:文本主导... 155 第一想法:比较NFA与DFA.. 156 回溯... 157 真实世界中的例子:面包屑... 158 回溯的两个要点... 159 备用状态... 159 回溯与匹配优先... 162 关于匹配优先和回溯的更多内容... 163 匹配优先的问题... 164 多字符“引文” 165 使用忽略优先量词... 166 匹配优先和忽略优先都期望获得匹配... 167 匹配优先、忽略优先和回溯的要旨... 168 占有优先量词和固化分组... 169 占有优先量词,?+、*+、++和{m,n}+. 172 环视的回溯... 173 多选结构也是匹配优先的吗... 174 发掘有序多选结构的价值... 175 NFA、DFA和POSIX.. 177 最左最长规则... 177 POSIX和最左最长规则... 178 速度和效率... 179 小结:NFA与DFA的比较... 180 总结... 183 第5章:正则表达式实用技巧.... 185 正则表达式的平衡法则... 186 若干简单的例子... 186 匹配连续行(续前)... 186 匹配IP地址... 187 处理文件名... 190 匹配对称的括号... 193 防备不期望的匹配... 194 匹配分隔符之内的文本... 196 了解数据,做出假设... 198 去除文本首尾的空白字符... 199 HTML相关范例... 200 匹配HTML Tag. 200 匹配HTML Link. 201 检查HTTP URL. 203 验证主机名... 203 在真实世界中提取URL. 206 扩展的例子... 208 保持数据的协调性... 209 解析CSV文件... 213 第6章:打造高效正则表达式.... 221 典型示例... 222 稍加修改——先迈最好使的腿... 223 效率vs准确性... 223 继续前进——限制匹配优先的作用范围... 225 实测... 226 全面考查回溯... 228 POSIX NFA需要更多处理... 229 无法匹配时必须进行的工作... 230 看清楚一点... 231 多选结构的代价可能很高... 231 性能测试... 232 理解测量对象... 234 PHP测试... 234 Java测试... 235 VB.NET测试... 237 Ruby测试... 238 Python测试... 238 Tcl测试... 239 常见优化措施... 240 有得必有失... 240 优化各有不同... 241 正则表达式的应用原理... 241 应用之前的优化措施... 242 通过传动装置进行优化... 246 优化正则表达式本身... 247 提高表达式速度的诀窍... 252 常识性优化... 254 将文字文本独立出来... 255 将锚点独立出来... 256 忽略优先还是匹配优先?具体情况具体分析... 256 拆分正则表达式... 257 模拟开头字符识别... 258 使用固化分组和占有优先量词... 259 主导引擎的匹配... 260 消除循环... 261 方法1:依据经验构建正则表达式... 262 真正的“消除循环”解法... 264 方法2:自顶向下的视角... 266 方法3:匹配主机名... 267 观察... 268 使用固化分组和占有优先量词... 268 简单的消除循环的例子... 270 消除C语言注释匹配的循环... 272 流畅运转的表达式... 277 引导匹配的工具... 277 引导良好的正则表达式速度很快... 279 完工... 281 总结:开动你的大脑... 281 第7章:Perl 283 作为语言组件的正则表达式... 285 Perl的长处... 286 Perl的短处... 286 Perl的正则流派... 286 正则运算符和正则文字... 288 正则文字的解析方式... 292 正则修饰符... 292 正则表达式相关的Perl教义... 293 表达式应用场合... 294 动态作用域及正则匹配效应... 295 匹配修改的特殊变量... 299 qr/…/运算符与regex对象... 303 构建和使用regex对象... 303 探究regex对象... 305 用regex对象提高效率... 306 Match运算符... 306 Match的正则运算元... 307 指定目标运算元... 308 Match运算符的不同用途... 309 迭代匹配:Scalar Context,不使用/g. 312 Match运算符与环境的关系... 316 Substitution运算符... 318 运算元replacement 319 /e修饰符... 319 应用场合与返回值... 321 Split运算符... 321 Split基础知识... 322 返回空元素... 324 Split中的特殊Regex运算元... 325 Split中带捕获型括号的match运算元... 326 巧用Perl的专有特性... 326 用动态正则表达式结构匹配嵌套结构... 328 使用内嵌代码结构... 331 在内嵌代码结构中使用local函数... 335 关于内嵌代码和my变量的忠告... 338 使用内嵌代码匹配嵌套结构... 340 正则文字重载... 341 正则文字重载的问题... 344 模拟命名捕获... 344 效率... 347 办法不只一种... 348 表达式编译、/o修饰符、qr/···/和效率... 348 理解“原文”副本... 355 Study函数... 359 性能测试... 360 正则表达式调试信息... 361 结语... 363 第8章:Java. 365 Java的正则流派... 366 Java对\p{…}和\P{…}的支持... 369 Unicode行终结符... 370 使用java.util.regex. 371 The Pattern.compile() Factory. 372 Pattern的matcher方法... 373 Matcher对象... 373 应用正则表达式... 375 查询匹配结果... 376 简单查找-替换... 378 高级查找-替换... 380 原地查找-替换... 382 Matcher的检索范围... 384 方法链... 389 构建扫描程序... 389 Matcher的其他方法... 392 Pattern的其他方法... 394 Pattern的split方法,单个参数... 395 Pattern的split方法,两个参数... 396 拓展示例... 397 为Image Tag添加宽度和高度属性... 397 对于每个Matcher,使用多个Pattern校验HTML. 399 解析CSV文档... 401 Java版本差异... 401 1.4.2和1.5.0之间的差异... 402 1.5.0和1.6之间的差异... 403 第9章:.NET. 405 .NET的正则流派... 406 对于流派的补充... 409 使用.NET正则表达式... 413 正则表达式快速入门... 413 包概览... 415 核心对象概览... 416 核心对象详解... 418 创建Regex对象... 419 使用Regex对象... 421 使用Match对象... 427 使用Group对象... 430 静态“便捷”函数... 431 正则表达式缓存... 432 支持函数... 432 .NET高级话题... 434 正则表达式装配件... 434 匹配嵌套结构... 436 Capture对象... 437 第10章:PHP.. 439 PHP的正则流派... 441 Preg函数接口... 443 “Pattern”参数... 444 Preg函数罗列... 449 “缺失”的preg函数... 471 对未知的Pattern参数进行语法检查... 474 对未知正则表达式进行语法检查... 475 递归的正则表达式... 475 匹配嵌套括号内的文本... 475 不能回溯到递归调用之内... 477 匹配一组嵌套的括号... 478 PHP效率... 478 模式修饰符S:“研究”. 478 扩展示例... 480 用PHP解析CSV.. 480 检查tagged data的嵌套正确性... 481 索引...... 485
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值