3、词法分析与语法分析：原理、工具与实践

词法分析与语法分析：原理、工具与实践

1. 词法分析基础

词法分析是编译过程的第一步，它将输入的字符流转换为词法单元（token）序列。在词法分析中，正则表达式是一种强大的工具，用于描述词法单元的模式。通过正则表达式，我们可以精确地定义各种词法单元，如关键字、标识符、数字等。

1.1 确定有限自动机（DFA）的构建与优化

在构建 DFA 时，我们可以使用特定的算法将非确定有限自动机（NFA）转换为 DFA。构建完成后，“states” 数组可以丢弃，而 “trans” 数组用于词法分析。然而，构建出的 DFA 可能不是最优的，即不是识别相同语言的最小自动机。

两个状态 s1 和 s2 被认为是等价的，当且仅当从 s1 开始的自动机接受字符串 σ 时，从 s2 开始的自动机也接受 σ。例如，在某些自动机中，特定标记的状态是等价的。我们可以通过合并等价状态来优化自动机，具体做法是将 s2 的所有入边指向 s1 并删除 s2。

查找等价状态的一种简单方法是：如果 s1 和 s2 都是终态或都是非终态，并且对于任何符号 c，trans[s1, c] = trans[s2, c]，则它们等价。但这种条件并不总是通用的，有些情况下需要更复杂的判断。构建 DFA 后，应用算法通过查找等价状态来最小化它是很有用的。

1.2 Lex：词法分析器生成器

DFA 的构建是一项机械任务，适合由计算机完成。因此，有自动词法分析器生成器将正则表达式转换为 DFA 是很有意义的。Lex 就是这样一个词法分析器生成器，它根据词法规范生成一个 C 程序。

词法规范包含每个词法单元类型的正则表达式和相应的动作