浅谈正则表达式之优化

正则表达式是计算机科学的一个概念，很多语言都实现了它。正则表达式使用一些特定的元字符来检索、匹配以及替换符合规则的字符串。

      构造正则表达式语法的元字符，由普通字符、标准字符、限定字符（量词）、定位字符（边界字符）组成。详情可见下图：

正则表达式引擎

      正则表达式是一个用正则符号写出的公式，程序对这个公式进行语法分析，建立一个语法分析树，再根据这个分析树结合正则表达式的引擎生成执行程序（这个执行程序我们把它称作状态机，也叫状态自动机），用于字符匹配。

     正则表达式引擎就是一套核心算法，用于建立状态机。

实现正则表达式引擎的方式有两种：DFA 自动机（Deterministic Final Automata 确 定有限状态自动机）和 NFA 自动机（Non deterministic Finite Automaton 非确定有限 状态自动机）。

      构造 DFA 自动机的代价远大于 NFA 自动机，但 DFA 自动机的执行效率高于 NFA 自动机。

      假设一个字符串的长度是 n，如果用 DFA 自动机作为正则表达式引擎，则匹配的时间复杂度为 O(n)；如果用 NFA 自动机作为正则表达式引擎，由于 NFA 自动机在匹配过程中存在 大量的分支和回溯，假设 NFA 的状态数为 s，则该匹配算法的时间复杂度为 O（ns）。

      NFA 自动机的优势是支持更多功能。例如，捕获 group、环视、占有优先量词等高级功能。这些功能都是基于子表达式独立进行匹配，因此在编程语言里，使用的正则表达式库都是基于 NFA 实现的。

NFA 自动机的回溯

用 NFA 自动机实现的比较复杂的正则表达式，在匹配过程中经常会引起回溯问题。大量的回溯会长时间地占用 CPU，从而带来系统性能开销。

如何避免回溯问题？

1. 1.    贪婪模式（Greedy） 顾名思义，就是在数量匹配中，如果单独使用 +、 ? 、* 或{min,max} 等量词，正则表达式 会匹配尽可能多的内容。例如，上边那个例子：text=“abbc” regex=“ab{1,3}c” 就是在贪婪模式下，NFA 自动机读取了最大的匹配范围，即匹配 3 个 b 字符。匹配发生了 一次失败，就引起了一次回溯。如果匹配结果是“abbbc”，就会匹配成功。 text=“abbbc” regex=“ab{1,3}c”

2. 2.    懒惰模式（Reluctant） 在该模式下，正则表达式会尽可能少地重复匹配字符。如果匹配成功，它会继续匹配剩余的 字符串。例如，在上面例子的字符后面加一个“？”，就可以开启懒惰模式。 text=“abc” regex=“ab{1,3}?c” 匹配结果是“abc”，该模式下NFA 自动机首先选择最小的匹配范围，即匹配 1 个 b 字 符，因此就避免了回溯问题。

3. 3.    独占模式（Possessive） 同贪婪模式一样，独占模式一样会最大限度地匹配更多内容；不同的是，在独占模式下，匹 配失败就会结束匹配，不会发生回溯问题。还是上边的例子，在字符后面加一个“+”，就可以开启独占模式。 text=“abbc” regex=“ab{1,3}+bc” 结果是不匹配，结束匹配，不会发生回溯问题。

避免回溯的方法就是：使用懒惰模式和独占模式。

正则表达式之优化

1.    少用贪婪模式，多用独占模式

   贪婪模式会引起回溯问题，可以使用独占模式来避免回溯。

 2.    减少分支选择

   分支选择类型“(X|Y|Z)”的正则表达式会降低性能，尽量减少使用，如果要用，可以通过以下几种方式来优化：首先，需要考虑选择的顺序，将比较常用的选择项放在前面，使它们可以较快地被匹配；其次，可以尝试提取共用模式，例如，将“(abcd|abef)”替换为“ab(cd|ef)”，后者 匹配速度较快，因为 NFA 自动机会尝试匹配 ab，如果没有找到，就不会再尝试任何选；最后，如果是简单的分支选择类型，我们可以用三次 index 代替“(X|Y|Z)”。

3.    减少捕获嵌套

    捕获组是指把正则表达式中，子表达式匹配的内容保存到以数字编号或显式命名的数组中， 方便后面引用。一般一个 () 就是一个捕获组，捕获组可以进行嵌套。

更多内容请关注公众号“测试小号等闲之辈”~