23、自动机与语法形式体系解析

自动机与语法形式体系解析

1. 自动机类型与语言识别

在自动机领域，有多种不同类型的自动机被提出作为下推自动机（PDA）的扩展。这些自动机可分为不同的类别，每类都有其独特的特点和适用范围。

1.1 多栈或复杂结构栈自动机

这类自动机相较于传统的 PDA，要么拥有多个栈，要么栈的结构更为复杂，例如栈中嵌套栈。其中一些较为受限的版本，如嵌入式下推自动机（EPDA）和双栈自动机（2 - SA），能够精确识别树邻接语言（TAL）。

1.2 线程自动机（TA）

线程自动机（TA）能够识别所有线性上下文无关重写语言（LCFRLs），即由线性上下文无关重写系统（LCFRS）、等价的简单范围连接文法（simple RCG）和多上下文无关文法（MCFG）所生成的语言。对于给定的树邻接文法（TAG）或简单 RCG，我们可以构建等价的 TA。在这两种情况下，自动机模拟派生树的自顶向下、从左到右的遍历，这相当于 Earley 风格的识别。Villemonte de la Clergerie（2002）提出了 TA 的多项式实现。

1.3 相关引理

对于每个简单 RCG G，都存在一个 TA M，使得 L(G) = L(M)。不过，是否存在不能由简单 RCG 生成但能被 TA 识别的语言，这仍是一个未解决的问题。

2. 语法形式体系的语言层次结构

不同的语法形式体系和自动机对应着不同的语言类，它们构成了一个语言层次结构。以下是部分常见的语法形式体系及其对应的语言类：
| 语法形式体系 | 典型语言 |
| — | — |
| CFG, 1 - MCFG, PDA | L1 = {anbn | n ≥ 0} |
| TAG, LIG, CCG, tree - local MCTAG, EPDA | L2 = {anbncn | n ≥ 0}, L3 = {ww | w ∈ {a, b}∗} |
| 2 - LCFRS, 2 - MCFG, simple 2 - RCG | - |
| 3 - LCFRS, 3 - MCFG, simple 3 - RCG | L4 = {an1an2an3an4an5 | n ≥ 0}, L5 = {www | w ∈ {a, b}∗} |
| LCFRS, MCFG, simple RCG, MG, set - local MCTAG, finite - copying LFG | - |
| Thread Automata (TA) | - |
| PMCFG | L6 = {a2n | n ≥ 0} |
| RCG, simple LMG | (= PTIME), mildly context - sensitive |

除了线性上下文无关重写系统（LCFRS）和线程自动机（TA）之间的关系外，其他的包含关系都是严格的。目前尚不清楚 LCFRS 和 TA 是否能产生相同的语言类。

3. 常见缩写解释

为了便于理解相关内容，以下是一些常见缩写的解释：
| 缩写 | 全称 |
| — | — |
| (2,2) - BRCG | Binary bottom - up non - erasing RCG with at most two variables per left - hand side argument |
| 2 - SA | Two - Stack Automaton |
| ACG | Abstract Categorial Grammar |
| AFL | Abstract Family of Languages |
| CCG | Combinatory Categorial Grammar |
| CFG | Context - Free Grammar |
| CNF | Chomsky Normal Form |
| EPDA | Extended Push - Down Automaton |
| FSA | Finite State Automaton |
| GCFG | Generalized Context - Free Grammar |
| GNF | Greibach Normal Form |
| HPSG | Head - Driven Phrase Structure Grammar |
| IG | Indexed Grammar |
| LCFRS | Linear Context - Free Rewriting System |
| LFG | Lexical Functional Grammar |
| LIG | Linear Indexed Grammar |
| LTAG | Lexicalized TAG |
| LMG | Literal Movement Grammar |
| MCFG | Multiple Context - Free Grammar |
| MCTAG | Multicomponent Tree Adjoining Grammar |
| MG | Minimalist Grammar |
| NRCG | Negative Range Concatenation Grammar |
| NPDA | Nested Push - Down Automaton |
| PDA | Push - Down Automaton |
| PMCFG | Parallel Multiple Context - Free Grammar |
| PRCG | Positive Range Concatenation Grammar |
| RCG | Range Concatenation Grammar |
| SD - 2SA | Strongly - Driven Two - Stack Automaton |
| SNMCTAG | tree - local MCTAG with shared nodes |
| SRCG | Simple Range Concatenation Grammar |
| TA | Thread Automaton |
| TAG | Tree Adjoining Grammar |
| TSG | Tree Substitution Grammar |
| TT - MCTAG | Tree - Tuple MCTAG with Shared Nodes |
| V - TAG | Vector - TAG |

4. 问题与解决方案

4.1 问题类型概述

在学习过程中，会遇到各种与自动机和语法形式体系相关的问题，例如构建特定语言的自动机、分析语法的性质、推导语言的范围等。以下是一些具体问题及其解决方案。

4.2 部分问题及解答示例

4.2.1 问题 2.1

对于语言 L2 := {anbn | n ≥ 0}：
- 可以用文法 G = ⟨{S}, {a, b}, {S → aSb, S → ε}, S⟩来生成。
- 假设存在一个上下文无关文法（CFG）能生成该语言，其产生式形式为 X → αaβbγ（X ∈ N，α, β, γ ∈ N ∗）。若将这些产生式中的 X → αaβbγ 替换为 X → αaβaγ 和 X → αbβbγ，则会得到一个生成复制语言的 CFG，这与复制语言不是上下文无关语言的事实相矛盾。

4.2.2 问题 3.1

在识别过程中，项目可以有 [•A, i, −]（0 ≤ i ≤ n，用于预测类别）和 [A•, i, j]（0 ≤ i < j ≤ n，用于完成类别）的形式，目标项目是 [S•, 0, n]。需要以下推导规则：
- 扫描 - 预测（scan - predict） ：从预测的 A 项目出发，基于存在产生式 A → aB 来预测 B 项目。

[•A, i, −]
[•B, i + 1, −]
存在产生式 A → aB ∈ P 且 wi + 1 = a

• 扫描（scan） ：基于存在产生式 A → a，将预测的 A 项目转换为完成的 A 项目。

[•A, i, −]
[A•, i, i + 1]
存在产生式 A → a ∈ P 且 wi + 1 = a

• 完成（complete） ：基于存在完成的 B 项目和产生式 A → aB，将预测的 A 项目转换为完成的 A 项目。

[•A, i, −][B•, i + 1, j]
[A•, i, j]
存在产生式 A → aB ∈ P 且 wi + 1 = a

4.2.3 问题 4.1

对于语言 L3：
- 可以构建一个树邻接文法（TAG）：

S
ε
SNA
a
S
b S∗
NA c

• 假设存在一个无邻接约束的 TAG G 能生成 L3，且不失一般性地假设 G 不包含替换节点。G 至少有一个辅助树 β，其叶子由终结符标记，β 必须包含相同数量的 a、b 和 c。否则，可能会推导出 a、b 和 c 数量不同的单词。若将 β 邻接到其根节点，会得到一个派生辅助树 β′。若 β 的产出是 aibici（i ≥ 1），对于脚节点有以下几种可能情况：
  • 脚节点在所有 a 的左侧或所有 c 的右侧：使用 β′ 可以推导出包含子串 aibiciaibici 的单词，这会产生矛盾。
  • 脚节点在第 k 个 a 的右侧（1 ≤ k ≤ i）：使用 β′ 可以推导出包含子串 ai−kbiciai−kbici 的单词，产生矛盾。
  • 脚节点在第 k 个 b 的右侧（1 ≤ k ≤ i）：使用 β′ 可以推导出包含子串 aibkaibk 和 bi−kcibi−kci 的单词，产生矛盾。
  • 脚节点在第 k 个 c 的左侧（1 ≤ k ≤ i）：使用 β′ 可以推导出包含子串 aibick−1aibick−1 的单词，产生矛盾。

因此，不存在无邻接约束的 TAG 能生成 L3。

4.3 算法复杂度分析

在分析自动机和语法的相关算法时，复杂度分析是很重要的一部分。例如，CYK 算法的空间复杂度由图表的内存需求决定，由于图表是一个 |N|×n×n 的表格，所以空间复杂度为 O(n2)。对于固定识别问题，某些算法的时间复杂度与 CYK 情况类似，为 O(n3)。以某算法中 complete 规则为例，其复杂度分析如下：
- complete 规则：

[B, ρB], [C, ρC]
[A, ρA]
A(ρA) → B(ρB)C(ρC) 是相对于 w 的 c ∈ P 的实例化

由于最大元数为 k，该规则的每个前件项目最多有 2k 个范围边界。在最坏情况下，A、B、C 的元数都为 k，且每个左侧参数只包含两个变量，这会导致 3k 个独立的范围边界，因此整个算法的时间复杂度为 O(n3k)。

5. 线程自动机（TA）相关问题分析

5.1 TA 的语言识别

考虑一个 TA：M = ⟨N, T, S, ret, κ, K, δ, U, Θ⟩，其中 N = {S, S′, SA, SB, A, B, ret}，T = {a, b}，K = N 且 κ 为恒等映射，δ(S) = δ(A) = δ(SA) = δ(B) = δ(SB) = 1，δ(ret) = ⊥，具有以下转换规则：

S → [S]S′,
S′ a→A2,
S′ a→SA,
SA → [SA]S′,
S′ b→B2,
S′ b→SB,
SB → [SB]S′,
A2 a→ret,
[SA]ret →A2,
B2 b→ret,
[SB]ret →B2

该 TA 接受的字符串语言是 {wwR | w ∈ {a, b}+}。

5.2 具体单词的线程集分析

对于单词 w = abba，其成功的配置如下：
| 线程集 | 剩余输入 | 操作 |
| — | — | — |
| ε : S | abba | |
| ε : S, 1 : S′ | abba | S −→[S]S′ |
| ε : S, 1 : SA | bba | S a−→SA |
| ε : S, 1 : SA, 11 : S′ | bba | SA −→[SA]S′ |
| ε : S, 1 : SA, 11 : B2 | ba | S′ b−→B2 |
| ε : S, 1 : SA, 11 : ret | a | B2 b−→ret |
| ε : S, 1 : A2 | a | [SA]ret −→A2 |
| ε : S, 1 : ret | ε | A2 a−→ret |

通过这些线程集和操作，我们可以看到 TA 如何逐步处理输入字符串并最终接受该字符串。这体现了 TA 在识别特定语言时的工作机制。

5.3 相关流程 mermaid 图

graph TD;
    A[开始: ε : S, 输入 abba] --> B[生成 1 : S′, 操作 S −→[S]S′];
    B --> C[生成 1 : SA, 操作 S a−→SA];
    C --> D[生成 11 : S′, 操作 SA −→[SA]S′];
    D --> E[生成 11 : B2, 操作 S′ b−→B2];
    E --> F[生成 11 : ret, 操作 B2 b−→ret];
    F --> G[生成 1 : A2, 操作 [SA]ret −→A2];
    G --> H[生成 1 : ret, 操作 A2 a−→ret, 接受输入];

这个 mermaid 图展示了 TA 处理单词 abba 的流程，从开始状态逐步进行转换，最终达到接受状态，直观地呈现了 TA 的工作过程。

6. 多上下文无关文法（MCFG）相关问题

6.1 构建 MCFG 生成特定语言

对于某些语言，可以构建不同的 MCFG 来生成。例如：
- 语言 1 ：可以使用以下 MCFG 生成。
- 重写规则：
- (S → f_1[A])
- (A → f_2[A])
- (A → f_3[ ])
- 操作：
- (f_1[\langle X, Y, Z, U\rangle] = \langle XY ZU\rangle)
- (f_2[\langle X, Y, Z, U\rangle] = \langle aX, bY, cZ, dU\rangle)
- (f_3[ ] = \langle a, b, c, d\rangle)
- 语言 2 ：也可以使用另一种 MCFG 生成。
- 重写规则：
- (S → f_1[A])
- (A → f_2[A])
- (A → f_3[ ])
- 操作：
- (f_1[\langle X, Y\rangle] = \langle XY\rangle)
- (f_2[\langle X, Y\rangle] = \langle aXb, cYd\rangle)
- (f_3[ ] = \langle ab, cd\rangle)

6.2 分析 MCFG 子句的性质

考虑一个 MCFG 的子句：

S(XY Z) → A(Y )B(X, Z)
A(aX) → A(X)
A(a) → ε
B(bX, bY b) → B(X, Y )
B(ε, ε) → ε

• yield(A) ：({\langle a^n\rangle| n ≥ 1})
• yield(B) ：({\langle b^n, (bb)^n\rangle| n ≥ 0})
• 该 MCFG 生成的语言是 ({b^m a^n (bb)^m | n ≥ 1, m ≥ 0})
• 对于单词 (w = abbb)，(r - yield(B) = {(\langle i, i\rangle, \langle j, j\rangle) | 0 ≤ i, j ≤ 4} ∪ {(\langle 1, 2\rangle, \langle 2, 4\rangle), (\langle 3, 4\rangle, \langle 1, 3\rangle)})

6.3 推导 MCFG 生成的语言

对于一些 MCFG，我们可以推导其生成的语言。例如：
- 某 MCFG 生成的语言是 ({a^n b^n c^m d^m a^n b^n c^m d^m | n, m ≥ 0})
- 另一个 MCFG 生成的语言是 ({w_1 w_2 | w_1 ∈ {a, b}^*, w_2) 是 (w_1) 在同态 (f)（(f(a) = b)，(f(b) = a)）下的像 (})

6.4 证明语言不属于 k - MCFL

证明语言 (L = {w^{2k + 1} | w ∈ {a, b}^*}) 不是 (k -) 多上下文无关语言（(k - MCFL)）：
- 假设 (L) 是 (k - MCFL)，那么它与正则语言 ((a + b^+)^{2k + 1}) 的交集 (L’ = {(a^n b^m)^{2k + 1} | n, m > 0}) 也应该是 (k - MCFL)。
- 如果 (L’) 是 (k - MCFL)，它应该满足 (k - MCFL) 的泵引理。即存在一个单词 ((a^n b^m)^{2k + 1})（(m, n > 0)），使得该单词的 (2k) 个子串可以被迭代。
- 至少有一个子串不为空，且没有一个子串可以包含不同的终结符，否则泵操作会立即导致生成不在 (L’) 中的字符串。
- 但是，如果最多对 (2k) 个字符串进行泵操作，每个字符串只包含 (a) 或只包含 (b)，我们必然会得到不在语言 (L’) 中的字符串，这与 (L’) 满足 (k - MCFL) 泵引理的假设相矛盾。
- 因此，(L’) 和 (L) 都不是 (k - MCFL)。

7. 范围连接文法（RCG）相关问题

7.1 RCG 的类型及语言生成

7.1.1 简单 RCG

• 语言 (L_1) 可以由简单 RCG (G_1) 生成：
  (G_1 = \langle{S, A}, {c, d}, {X, Y, U, V}, S, P\rangle)，其中 (P) 是以下子句集：

S(XY UV ) → A(X, Y, U, V )
A(cX, cY, cU, cV ) → A(X, Y, U, V )
A(dX, dY, dU, dV ) → A(X, Y, U, V )
A(ε, ε, ε, ε) → ε

7.1.2 非简单 RCG

• 语言 (L_2) 只能由非简单 RCG (G_2) 生成：
  (G_2 = \langle{S, eq}, {a}, {X, Y, Z}, S, P\rangle)，其中 (P) 是以下子句集：

S(XY Z) → S(X)eq(X, Y, Z)
S(a) → ε
eq(aX, aY, aZ) → A(X, Y, Z)
eq(a, a, a) → ε

7.2 RCG 的线性非擦除简单 LMG 形式

• 语言 (L_1) 可以由线性非擦除简单字面移动文法（LMG）(G_3) 生成，(G_3) 包含与生成该语言的简单 RCG 相同的子句。
• 语言 (L_2) 可以由以下简单 LMG (G_4) 生成：
  (G_4 = \langle{S}, {a}, {X}, S, P\rangle)，其中 (P) 是以下子句集：

S(XXX) → S(X)
S(a) → ε

7.3 等价简单 2 - RCG 的转换

将某种形式转换为等价的简单 2 - RCG：

S(X) → ⟨α⟩(X)
⟨α⟩(LR) → ⟨adj, α, ε⟩(L, R)
⟨β⟩(aLb, cRd) → ⟨adj, β, 2⟩(L, R)
⟨adj, α, ε⟩(L, R) → ⟨β⟩(L, R)
⟨adj, β, 2⟩(L, R) → ⟨β⟩(L, R)
⟨adj, α, ε⟩(ε, ε) → ε
⟨adj, β, 2⟩(ε, ε) → ε

7.4 RCG 的解析复杂度

对于二值化的 RCG，complete 规则如下：

[A1, ρ1], [A2, ρ2]
[A0, ρ]
A0(ρ0) → A1(ρ1)A_k(ρ2) 是一个实例化子句

与简单 RCG 不同，我们不能假设左侧的变量也出现在右侧。在最坏情况下，这些变量之间没有任何关系。
- 对于左侧，每个参数最多有 3 个范围边界，每个子句最多有 (3k) 个范围边界。
- 对于右侧，每个参数最多有 2 个范围边界，每个子句最多有 (2×2k) 个范围边界。
- 因此，每个子句总共有最多 (3k + 4k = 7k) 个范围边界，这些边界的值可以在 0 到 (n) 之间。
- 所以，使用该算法解析这种受限类型的 RCG 的时间复杂度为 (O(n^{7k}))。

7.5 RCG 子句的范围约束分析

考虑子句 (A(aX, Y a, ε) → C(XY ))，其范围约束向量 (\langle r, C\rangle) 如下：
- (r = (\langle r_1, r_2\rangle, \langle r_3, r_4\rangle, \langle r_5, r_6\rangle, \langle r_7, r_8\rangle, \langle r_9, r_{10}\rangle))
- (C = {r_1 ≤ r_2, \ldots, r_9 ≤ r_{10}, r_1 + 1 = r_2, r_7 + 1 = r_8, r_2 = r_3, r_4 = r_5, r_6 = r_7, r_9 = r_{10}})

7.6 RCG 生成语言及相关性质分析

考虑一个 RCG (G)：

S(XY ) → A(X, X)B(Y, Y )
A(aX, bY ) → A(X, Y )
B(cX, dY ) → B(X, Y )
A(bX, Y ) → A(X, Y )
B(dX, Y ) → B(X, Y )
A(X, aY ) → A(X, Y )
B(X, cY ) → B(X, Y )
A(ε, ε) → ε
B(ε, ε) → ε

• 生成的语言 ：(L(G) = {w_1 w_2 | w_1 ∈ {a, b}^ ) 且 (|w_1|_a = |w_1|_b)，(w_2 ∈ {c, d}^ ) 且 (|w_2|_c = |w_2|_d})
• First 集 ：
  • (First(A, 1) = First(A, 2) = {a, b, ε})
  • (First(B, 1) = First(B, 2) = {c, d, ε})
• 可能的过滤器 ：
  • (A) 的组件属于 ({a, b}^ )，而 (B) 的组件属于 ({c, d}^ )。
  • 对于 (A) 或 (B) 的产出中的每个范围向量 ((\langle l_1, r_1\rangle, \langle l_2, r_2\rangle))，都有 (r_1 = r_2)。

8. 自动机和文法相关问题总结

8.1 问题总结表格

问题类型	具体问题	解决方案要点
自动机构建	构建接受特定语言的自动机	根据语言特点选择合适的自动机类型，如 EPDA、TA 等，并确定其状态、转换规则等
文法性质分析	判断文法是否为简单 RCG、MCFG 等	检查文法的产生式形式，如变量的使用次数、线性性质等
语言推导	推导文法生成的语言	分析文法的产生式，通过迭代和组合规则来确定语言的形式
复杂度分析	分析算法的时间和空间复杂度	考虑规则的应用次数、范围边界的数量等因素

8.2 整体流程 mermaid 图

graph LR;
    A[问题提出] --> B[选择合适方法];
    B --> C{方法类型};
    C -->|自动机| D[构建自动机];
    C -->|文法| E[分析文法性质];
    C -->|语言推导| F[推导语言范围];
    C -->|复杂度分析| G[分析算法复杂度];
    D --> H[验证自动机正确性];
    E --> I[确定文法类型];
    F --> J[得到语言形式];
    G --> K[确定复杂度结果];
    H --> L[问题解决];
    I --> L;
    J --> L;
    K --> L;

这个 mermaid 图展示了处理自动机和文法相关问题的整体流程，从问题提出开始，经过选择合适的方法，再到具体的处理步骤，最终解决问题，清晰地呈现了整个过程。通过对这些自动机和文法相关问题的研究和分析，我们可以更深入地理解它们的性质和应用，为进一步的研究和实践提供基础。