21、自动机：超越上下文无关文法的解析利器

自动机：超越上下文无关文法的解析利器

在形式语言和自动机理论中，不同类型的自动机用于识别和处理各种语言。有限状态自动机（FSA）能接受所有正则语言，下推自动机（PDA）则能接受所有上下文无关语言。而今天我们要深入探讨的是针对上下文无关文法（CFG）不同扩展的自动机模型，特别是树邻接文法（TAG）和线性上下文无关重写系统（LCFRS）相关的自动机。

1. 嵌入式下推自动机（EPDA）

嵌入式下推自动机（EPDA）是下推自动机（PDA）的自然扩展，由Vijay - Shanker于1987年引入，它能够识别树邻接语言（TALs）。

1.1 EPDA的核心思想

PDA使用单个下推栈，而EPDA将其替换为一个由非空下推栈组成的栈。在EPDA中，我们可以对最顶层的栈进行嵌套重写操作，除了像PDA那样处理栈，还能在其周围包裹新的栈。这使得EPDA相比PDA具有更强的能力，PDA只能处理上下文无关语言（CFL）的嵌套依赖关系，而EPDA的栈结构能够处理树邻接语言的交叉串行依赖关系。

1.2 EPDA的定义

一个EPDA由有限状态控制器、单向输入带和一个非空栈的栈组成。有限控制器始终能看到最顶层栈的顶部符号和当前输入符号，并根据这些符号和自动机的当前状态进行移动。这种移动分为两个部分：
- 首先，将最顶层栈Υ像PDA那样处理，即其顶部符号被一个新的、可能为空的栈符号序列替换。
- 然后，将整个栈（栈的栈）像PDA那样处理，即由第一步得到的新的最顶层栈Υ′被一个包含Υ′的k个栈的序列替换（k ≥ 0）。

EPDA的接受模式有两种等价的定义方式：
- 输入w被接受，如果在读取完整个输入后，自动机以空栈结束。
- 输入w被接受，如果在读取完整个w后，自动机最终处于一个最终状态。

下面通过一个例子来理解EPDA的工作原理。考虑语言L4 = {anbncndn | n ≥ 0}，一个接受该语言的EPDA可以这样工作：
- 假设每个输入符号对应一个不同的状态。对于输入中遇到的每个a，将符号B压入最顶层栈（确保a的数量等于b的数量），并在最顶层栈下方引入一个包含单个D的额外栈（确保a的数量等于d的数量）。
- 对于输入中遇到的每个b，需要在最顶层栈上找到顶部符号B并将其移除。此外，为了确保后续能找到对应的c，在最顶层栈下方引入一个包含单个C的额外栈。
- 读取完所有的a和b后，会得到一系列栈，每个栈包含一个符号x ∈ {C, D}，其中C栈的数量等于D栈的数量（且等于之前遇到的a的数量），并且所有C栈都在所有D栈之前。
- 处理剩余输入时删除栈。对于输入中遇到的每个c，如果最顶层栈的顶部符号是C，则删除该栈并继续。对于输入中遇到的每个d，如果最顶层栈的顶部符号是D，则删除该栈并继续。如果没有剩余输入符号且栈为空，则接受该输入。

形式上，一个嵌入式下推自动机（EPDA）M是一个7元组⟨Q, Σ, Γ, δ, q0, QF, Z0⟩，其中：
- Q是有限状态集，q0 ∈ Q是起始状态，QF ⊆ Q是最终状态集。
- Γ是有限栈符号集，Z0 ∈ Γ是初始栈符号。
- Σ是有限输入符号集。
- δ是转移函数Q × (Σ ∪ {ε}) × Γ → Pfin(Q × Υ ∗× Γ ∗× Υ ∗)，其中Υ = Γ ∗对应栈符号的下推。

EPDA的一个配置可以瞬时描述其状态，配置类型为Q×Υ ∗×Σ∗×Σ∗，即由当前状态q ∈ Q、栈的栈s ∈ Υ ∗、已识别的输入部分w1 ∈ Σ∗和尚未识别的部分w2 ∈ Σ∗组成。在Υ ∗中，我们用符号‡标记每个栈的起始（底部），并且约定顶部是最右边的元素。EPDA的初始配置是⟨q0, ‡Z0, ε, w⟩。

EPDA的转移定义如下：
设⟨Q, Σ, Γ, δ, q0, QF, Z0⟩是一个EPDA，Υ = {‡γ | γ ∈ Γ ∗}。
- 对于所有q1, q2 ∈ Q，a ∈ (Σ ∪ {ε})，w1, w2 ∈ Σ∗，α, α1, α2 ∈ Υ ∗，Z ∈ Γ，β, γ ∈ Γ ∗：
- a) ⟨q1, α‡βZ, w1, aw2⟩⊢⟨q2, αα1‡βγα2, w1a, w2⟩，如果⟨q2, α1, γ, α2⟩∈ δ(q1, a, Z)且βγ ≠ ε。
- b) ⟨q1, α‡Z, w1, aw2⟩⊢⟨q2, αα1α2, w1a, w2⟩，如果⟨q2, α1, ε, α2⟩∈ δ(q1, a, Z)。
- ∗⊢是⊢的自反传递闭包。

需要注意的是，允许空转移（a ∈ (Σ ∪ {ε})），即不读取输入符号的转移。情况b）涵盖了最顶层栈为空的特殊情况，此时假设该栈被删除，其底部栈符号‡也会消失。

EPDA的两种接受模式定义如下：
- M在其最终状态接受语言L(M)：L(M) = {w | ⟨q0, ‡Z0, ε, w⟩ ∗⊢⟨qf, α, w, ε⟩，对于某些qf ∈ QF，α ∈ Υ ∗}。
- M通过空栈接受语言N(M)：N(M) = {w | ⟨q0, ‡Z0, ε, w⟩ ∗⊢⟨q, ε, w, ε⟩，对于某些q ∈ Q}。

下面给出接受语言L4的EPDA的具体定义：

EPDA M = ⟨Q, Σ, Γ, δ, q0, QF, Z0⟩
Q = {q0, q1, q2, q3}
QF = ∅
Z0 = #
Σ = {a, b, c, d}
Γ = {#, B, C, D}
Transition function δ:
δ(q0, a, #) = {(q0, ‡D, B, ε)} 
δ(q0, a, B) = {(q0, ‡D, BB, ε)}
δ(q0, b, B) = {(q1, ‡C, ε, ε)}
δ(q1, b, B) = {(q1, ‡C, ε, ε)}
δ(q1, c, C) = {(q2, ε, ε, ε)}
δ(q2, c, C) = {(q2, ε, ε, ε)}
δ(q2, d, D) = {(q3, ε, ε, ε)}
δ(q3, d, D) = {(q3, ε, ε, ε)}

对于输入字aabbccdd，该自动机的一个示例运行如下：

(q0, ‡#, ε, aabbccdd)
⊢(q0, ‡D ‡ B, a, abbccdd)
⊢(q0, ‡D ‡ D ‡ BB, aa, bbccdd)
⊢(q1, ‡D ‡ D ‡ C ‡ B, aab, bccdd)
⊢(q1, ‡D ‡ D ‡ C ‡ C, aabb, ccdd)
⊢(q2, ‡D ‡ D ‡ C, aabbc, cdd)
⊢(q2, ‡D ‡ D, aabbcc, dd)
⊢(q3, ‡D, aabbccd, d)
⊢(q3, ε, aabbccdd, ε)

与PDA一样，EPDA通过空栈接受的语言集合与通过最终状态接受的语言集合是相同的。具体来说：
- 对于每个EPDA M，存在一个EPDA M′，使得L(M) = N(M′)。
- 对于每个EPDA M，存在一个EPDA M′，使得N(M) = L(M′)。

1.3 EPDA与TAG的关系

Vijay - Shanker（1987）证明了EPDA恰好能接受所有树邻接语言（TALs）。虽然他的证明没有直接给出给定EPDA的等价TAG的构造方法，反之亦然，但他展示了如何为给定的EPDA构造一个等价的修改头文法（MHG），反之亦然。由于MHG和TAG之间的等价性已经得到确立，这就证明了TAG和EPDA之间的等价性。

下面简要描述如何为给定的TAG构造一个等价的EPDA。我们让EPDA的移动对应于TAG推导中节点的扩展。假设每个节点对应一个栈符号，对应于下一个要扩展的节点的符号是自动机最顶层的栈符号。当我们将一个辅助树邻接到一个节点时，将新辅助树的根节点符号添加到当前顶层栈。当沿着辅助树的脊柱向下移动时，在当前栈的上方和下方放置新的栈，这些栈编码了邻接辅助树脊柱左右的部分。当不沿着辅助树的脊柱向下移动时，只需将母节点符号替换为其女儿节点（以相反的顺序，即最左边的女儿在顶部）。

为了区分邻接操作和移动到女儿节点的操作，我们在栈上区分顶部和底部（⊤和⊥）节点名称。对于节点N，如果预测没有邻接操作，则符号N⊤被替换为N⊥；如果预测有β的邻接操作，且Rβ是β的根节点，则符号N⊤被替换为N⊥Rβ。

以下是一个TAG及其等价EPDA的示例：

TAG:
Rα
c
Rβ
a F b
(Rα and Rβ allow for adjunction of β.)

Equivalent EPDA:
M = ⟨Q, Σ, Γ, δ, q0, QF, Z0⟩
Q = {q0, q1, q2, q3}
QF = ∅
Z0 = #
Σ = {a, b, c}
Γ = {#, Rα, Rβ, F, A, B, C}
Transition function δ:
⟨q, ε, R⊤α, ε⟩∈ δ(q, ε, #)  // start initial tree
⟨q, ε, R⊥α, ε⟩∈ δ(q, ε, R⊤α)  // no adjunction at Rα
⟨q, ε, C, ε⟩∈ δ(q, ε, R⊥α)  // move down
⟨q, ε, R⊥α R⊤β, ε⟩∈ δ(q, ε, R⊤α)  // adjunction of β
⟨q, ε, R⊥β R⊤β, ε⟩∈ δ(q, ε, R⊤β)  // adjunction of β
⟨q, ε, R⊥β, ε⟩∈ δ(q, ε, R⊤β)  // no adjunction at Rβ
⟨q, ‡B, F, ‡A⟩∈ δ(q, ε, R⊥β)  // move down
⟨q, ε, ε, ε⟩∈ δ(q, ε, F)  // no adjunction at F, move back
⟨q, ε, ε, ε⟩∈ δ(q, a, A)  // match a with input
⟨q, ε, ε, ε⟩∈ δ(q, b, B)  // match b with input
⟨q, ε, ε, ε⟩∈ δ(q, c, C)  // match c with input
Acceptance with the empty stack.

对于输入aacbb，该EPDA的一个示例运行如下：

Stacks             remaining input
‡#                 aacbb
‡R⊤α               aacbb  // start traversal of α
‡R⊥α R⊤β           aacbb  // predict adjunction of β
‡R⊥α R⊥β R⊤β       aacbb  // predict adjunction of β
‡R⊥α R⊥β R⊥β       aacbb  // predict no adjunction
‡B ‡ R⊥α R⊥β F ‡ A  aacbb  // move down in β
‡B ‡ R⊥α R⊥β F      acbb  // scan a
‡B ‡ R⊥α R⊥β        acbb  // leave β
‡B ‡ B ‡ R⊥α F ‡ A  acbb  // move down in β
‡B ‡ B ‡ R⊥α F      cbb  // scan a
‡B ‡ B ‡ R⊥α        cbb  // leave β
‡B ‡ B ‡ C          cbb  // move down in α
‡B ‡ B              bb  // scan c
‡B                  b  // scan b
ε                    ε  // scan b

1.4 自底向上嵌入式下推自动机（BEPDA）

自底向上嵌入式下推自动机（BEPDA）由Schabes（1990）和Schabes与Vijay - Shanker（1990）首次提出，是EPDA 的“对偶”，Rambow（1994）给出了该自动机模型的正式定义。BEPDA能接受所有树邻接语言。

EPDA以自顶向下的方式模拟TAG推导，而BEPDA模拟树邻接语言的自底向上识别。BEPDA的思想是反转EPDA的两种移动操作：
- 第一种操作是展开操作，移除指定栈周围的栈序列，使该指定栈成为新的顶层栈，并且从新的顶层栈中弹出一系列符号，并用单个栈符号替换。
- 第二种可能的移动是将一个新的空栈压入栈的栈。

对于给定的TAG，BEPDA首先将所有终结符转移到栈的栈上，每个终结符存储在一个单独的栈中。然后进行自底向上的归约操作，当沿着辅助树的脊柱向上移动时，当前栈周围左右的部分是要展开的栈序列。

1.5 k阶EPDA

Weir（1988，1992）将EPDA的概念扩展到k阶EPDA。在最初的版本（1988）中，Weir将这种自动机模型称为嵌套下推自动机（NPDA）。

对于给定的栈符号字母表Γ，简单栈γ ∈ Γ ∗称为一阶栈，一阶栈的栈称为二阶栈，以此类推。一般来说，(k - 1)阶栈的栈是k阶栈。简单EPDA的每次移动会取最顶层的一阶栈，像PDA那样操作它，然后在二阶栈上围绕它包裹其他一阶栈。k阶EPDA的移动会操作k阶栈，取其最顶层的(k - 1)阶栈，像在(k - 1)阶EPDA中那样操作它，然后在其周围包裹其他k阶栈。

这种定义导致了一个自动机层次结构，即所谓的Weir层次结构。该层次结构的第一类，1阶EPDA就是PDA，能精确生成上下文无关语言；第二类，2阶EPDA就是Vijay - Shanker（1987）提出的EPDA，能精确生成树邻接语言。

2. 双栈自动机（2 - SA）

双栈自动机（2 - SA）由Becker（1994）引入，是TAG的另一种自动机模型。

2.1 2 - SA的一般定义

与EPDA相比，2 - SA有两个栈，且都是栈的栈。但与EPDA不同的是，不能像EPDA那样对这些栈进行嵌套操作。在2 - SA中，两个栈都可访问，可以自由地将符号压入最顶层的栈。此外，可以从栈1的顶部弹出符号，如果栈1为空，也可以从栈2的顶部弹出符号。从栈2弹出符号的前提是栈1为空，这个限制对于自动机有限的生成能力至关重要。如果去掉这个限制，2 - SA将变得过于强大，更确切地说，它们将是图灵完备的，因为可以使用两个栈来模拟图灵机的移动。

我们使用一个不在栈字母表Γ中的特殊符号来标记栈的底部，在2 - SA中，这个符号在自动机的规范中明确给出。与EPDA一样，如果一个栈的最顶层栈为空，其底部符号也会被删除，除非没有其他剩余的栈，此时底部符号保留以标记空栈。因此，除了整个栈为空的情况，我们永远不会将底部符号作为当前栈符号。

一个双栈自动机（2 - SA）M是一个7元组⟨Q, q0, Σ, Γ, ‡, Z0, δ⟩，其中：
- Q是有限状态集，q0 ∈ Q是起始状态。
- Σ是有限输入符号集。
- Γ是有限栈符号集，‡ ∉ Γ是底部栈符号，Z0 ∈ Γ是初始栈符号。
- δ是转移函数，δ : Q × (Σ ∪ {ε}) × (Γ ∪ {‡}) × (Γ ∪ {‡}) → Pfin(Q × Ξ × Ξ)，其中Ξ = {‡} ∪ Γ ∗∪ {γ1 ‡ γ2 | γ1, γ2 ∈ Γ ∗}。

转移函数δ满足以下限制：
- 对于所有q ∈ Q，a ∈ Σ ∪ {ε}，s1 ∈ Γ和s2 ∈ Γ ∪ {‡}，δ(q, a, s1, s2)中的所有元素都具有⟨q′, ξ1, ξ2⟩的形式，其中ξ1, ξ2 ∈ Γ ∗∪ {γ1 ‡ γ2 | γ1, γ2 ∈ Γ ∗}（不能从栈2弹出）。
- 对于所有q ∈ Q，a ∈ Σ ∪ {ε}，s2 ∈ Γ，δ(q, a, ‡, s2)中的所有元素都具有⟨q′, ‡, γ⟩的形式，其中γ ∈ Γ ∗（如果栈1为空，可以从栈2弹出）。

2 - SA的瞬时描述由一个元组⟨y, s1, s2, w1, w2⟩给出，其中q ∈ Q是当前状态，si ∈ {‡γ | γ ∈ Γ ∗}∗是第i个栈（1 ≤ i ≤ 2），w1 ∈ T ∗是已经消耗的输入，w2 ∈ T ∗是剩余的输入部分。

转移的定义与PDA类似，只是要操作两个栈。⟨q′, ξ1, ξ2⟩∈ δ(q, a, s1, s2)表示，如果自动机处于状态q，下一个输入符号是a，且最顶层的栈符号分别是s1和s2，那么在读取输入符号a时，可以转移到q′，并将s1替换为ξ1，将s2替换为ξ2。此外，最顶层的符号‡会被忽略，即被删除。

语言N(M)定义为自动机以两个空栈接受的单词集合。

Becker（1994）证明了2 - SA能接受与EPDA相同类别的语言，即树邻接语言。

2.2 为给定TAG构造等价2 - SA的方法

我们可以模拟推导树的自顶向下、从左到右的遍历，类似于使用EPDA的方法。栈1的顶部是下一个要扩展的节点。如果该节点不在脊柱上，则将其替换为其女儿节点；如果该节点在脊柱上，则将其替换为其女儿节点的左部分和脊柱上的下一个节点，而右部分存储在栈2中以供后续处理。每当栈1为空时，我们在遍历中到达了一个位于脚节点右侧的点，即辅助树的左部分和下方的部分已经处理完毕。

例如，图10.7展示了接受图10.4中TAG生成的语言的2 - SA，图10.8展示了该自动机对输入的一个示例运行。

2 - SA可以推广到n栈自动机（n - SA），根据对n个栈的可访问性的不同限制，可以得到不同类型的层次结构。

综上所述，EPDA、BEPDA、k阶EPDA和2 - SA等自动机模型为处理超越上下文无关文法的语言提供了强大的工具，它们各自具有独特的特点和应用场景，在形式语言和自动机理论中扮演着重要的角色。通过对这些自动机的研究，我们可以更深入地理解不同类型语言的结构和特性，为自然语言处理、编译器设计等领域的应用提供理论支持。

自动机：超越上下文无关文法的解析利器

3. 自动机类型对比

为了更清晰地理解不同自动机的特点，我们对EPDA、BEPDA、2 - SA进行对比，具体内容如下表所示：
| 自动机类型 | 栈结构 | 操作方式 | 接受语言 | 模拟推导方式 |
| — | — | — | — | — |
| EPDA | 栈的栈 | 操作最顶层栈并包裹新栈，顶层栈为空时删除该栈 | 树邻接语言（TALs） | 自顶向下模拟TAG推导 |
| BEPDA | 栈的栈 | 展开栈序列，弹出符号并用单个符号替换，可压入新空栈 | 树邻接语言（TALs） | 自底向上模拟TAG推导 |
| 2 - SA | 两个栈的栈 | 可自由压入符号，栈1为空时可从栈2弹出符号 | 树邻接语言（TALs） | 自顶向下、从左到右模拟推导树遍历 |

从这个表格中，我们可以直观地看到不同自动机在栈结构、操作方式、接受语言和模拟推导方式上的差异。这有助于我们根据具体的应用场景选择合适的自动机。

4. 自动机的应用场景分析

不同的自动机在实际应用中有着不同的优势，下面我们来分析一下它们的主要应用场景。

4.1 EPDA的应用场景

• 自然语言处理 ：在处理具有复杂嵌套结构的自然语言句子时，EPDA可以很好地处理树邻接语言，能够更准确地分析句子的语法结构。例如，在分析一些长难句时，其栈的栈结构可以有效地处理句子中的交叉串行依赖关系。
• 编译器设计 ：对于一些具有复杂语法规则的编程语言，EPDA可以用于语法分析阶段，帮助编译器更准确地理解代码的结构，提高编译的准确性。

4.2 BEPDA的应用场景

• 自然语言处理中的语义分析 ：自底向上的分析方式使得BEPDA在语义分析中具有优势。它可以从句子的基本组成部分开始，逐步构建语义结构，更符合人类理解语言的方式。
• 数据处理 ：在处理一些具有层次结构的数据时，BEPDA的自底向上归约操作可以有效地对数据进行整理和分析。

4.3 2 - SA的应用场景

• 图形处理 ：在处理具有树状结构的图形数据时，2 - SA可以模拟图形的遍历过程，帮助进行图形的分析和处理。
• 人工智能中的知识表示 ：对于一些具有复杂层次关系的知识表示，2 - SA可以用于知识的推理和查询，提高知识处理的效率。

5. 自动机的发展趋势

随着计算机科学和人工智能的不断发展，自动机理论也在不断演进。以下是一些可能的发展趋势：

5.1 与机器学习的结合

将自动机与机器学习算法相结合，可以提高自动机的学习能力和适应性。例如，使用机器学习算法来优化自动机的转移函数，使其能够更好地处理未知的输入。

5.2 更高阶自动机的研究

随着对复杂语言处理需求的增加，对更高阶自动机的研究将变得更加重要。例如，研究k阶EPDA在处理更复杂语言结构时的性能和应用。

5.3 多自动机协同工作

在处理复杂问题时，单一的自动机可能无法满足需求。未来可能会出现多个自动机协同工作的模式，不同类型的自动机发挥各自的优势，共同完成任务。

6. 总结与展望

本文详细介绍了嵌入式下推自动机（EPDA）、自底向上嵌入式下推自动机（BEPDA）和双栈自动机（2 - SA）等自动机模型。这些自动机为处理超越上下文无关文法的语言提供了强大的工具，它们各自具有独特的特点和应用场景。

在未来的研究和应用中，我们可以进一步探索这些自动机的潜力，结合新的技术和方法，使其在自然语言处理、编译器设计、图形处理等领域发挥更大的作用。同时，随着自动机理论的不断发展，我们也期待出现更多新的自动机模型，为解决更复杂的问题提供支持。

下面是一个简单的mermaid流程图，展示了EPDA处理输入的基本流程：

graph TD
    A[开始] --> B[读取输入符号]
    B --> C{判断栈操作}
    C -->|操作最顶层栈| D[替换最顶层栈符号]
    C -->|包裹新栈| E[添加新栈到顶层栈周围]
    D --> F{是否继续读取输入}
    E --> F
    F -->|是| B
    F -->|否| G{判断接受条件}
    G -->|满足| H[接受输入]
    G -->|不满足| I[拒绝输入]

通过这个流程图，我们可以更清晰地看到EPDA处理输入的基本步骤和决策过程。希望本文能够帮助读者更好地理解这些自动机模型，为相关领域的研究和应用提供一定的参考。