20、范围连接语法解析指南

范围连接语法解析指南

1. 范围连接语法基础概念

在范围连接语法（RCG）的解析过程中，有几个关键概念起着重要作用。首先是 First 和 Last 集合的定义。
- First(A, k) 集合 ：
- 定义为 First(A, k) = {t | S(⟨0, n⟩) ∗⇒G,w Γ1A(ρ1, . . . , ρk, . . . , ρdim(A))Γ2 ∗⇒G,w ε} ，对于某些 w ∈ T ∗ ，满足要么 t ∈ T 且 ρk(w) = tv （其中 v ∈ T ∗ ），要么 t = ε 且 ρk(w) = ε 。
- 例如，对于示例语法和谓词 A ， First(A, 1) = First(A, 2) = Last(A, 1) = Last(A, 2) = {ε, a} 。这意味着在预测谓词 A 的实例化时，其参数要么为空，要么以 a 开头和结尾。
- Last(A, k) 集合 ：
- 定义为 Last(A, k) = {t | S(⟨0, n⟩) ∗⇒G,w Γ1A(ρ1, . . . , ρk, . . . , ρdim(A))Γ2 ∗⇒G,w ε} ，对于某些 w ∈ T ∗ ，满足要么 t ∈ T 且 ρk(w) = vt （其中 v ∈ T ∗ ），要么 t = ε 且 ρk(w) = ε 。
- 长度约束预编译 ：Boullier 还提出了对谓词不同参数的长度约束进行预编译。在示例语法中，对于 A 谓词，其参数长度必须始终相等。

2. 右侧谓词重排序

与上下文无关语法（CFG）不同，在 RCG 中，子句右侧谓词的顺序并不重要。但当我们在右侧移动一个点时，就确定了处理右侧元素的顺序。子句右侧的重排序不会影响生成的语言，并且可能会带来更好的解析行为，因为我们对其范围向量了解更多的右侧谓词可能会更早被处理。
- 动态重排序 ：Boullier 在其定向自顶向下解析器的实现中，根据对哪个谓词的产出了解更多，对右侧进行动态重排序。这是他的解析器高效的原因之一。
- 示例说明 ：考虑子句 S(aXbY cZd) → A(X, Y )B(Z) 和输入字符串 w = aaaabbbbcdd 。当 S 产出整个字符串 w 时， Z 必然映射到 9d10 ，这是唯一的可能性。因此，预测该子句后，应首先检查范围向量唯一指定的 B 谓词。

3. 带约束传播的解析

早期的解析算法存在一个问题，即在预测项中实例化是完全指定的，这导致需要计算所有可能子句的所有可能实例化，计算成本高昂，并且会产生大量对成功解析没有贡献的解析操作。为了解决这个问题，提出了带约束传播的解析方法。
- 延迟计算范围边界 ：Kallmeyer、Maier 和 Parmentier 提出采用范围边界的延迟计算。实例化的计算仅在完成时进行，而在预测时，仅累积实例化的可用约束。
- 范围约束表示 ：
- 范围约束向量定义 ：范围约束向量由范围边界变量对的向量和对这些变量的一组约束组成。约束的语法允许表达相等、有序性、精确距离和最小距离等关系。
- 子句的范围约束向量 ：对于每个子句 c ，定义其范围约束向量 ⟨r, C⟩ ，其中 r 的维度为 Υ(c) ，所有范围边界变量两两不同，并且包含了关于范围边界、终端出现和空参数的约束。

4. 带活动项的 CYK 解析

基本的 CYK 算法存在一个明显的缺点，即在完成步骤中，需要同时检查右侧的所有元素，这导致需要检查大量的索引。为了避免这个问题，可以在子句的右侧移动一个点，引入活动项。
- 被动项和活动项 ：
- 被动项 ：形式为 [A, ρ] ，其中 A 是谓词， ρ 是维度为 dim(A) 的范围向量。
- 活动项 ：形式为 [A(α) → Φ • Ψ, ⟨r, C⟩] ，其中 A(α) → ΦΨ 是子句， ΦΨ ≠ ε ， ⟨r, C⟩ 是维度为 j 的范围约束向量，并且要求 ⟨r, C⟩ 是可满足的。
- 解析规则 ：
- 扫描规则 ： [A, ρ] ，当 A(ρ) → ε 是一个实例化子句时应用。
- 初始化规则 ： [A(α) → •Φ, ⟨r, C⟩] ，其中 A(α) → Φ 是一个子句，范围约束向量为 ⟨r, C′⟩ ， Φ ≠ ε ， C 是通过为每个左边界变量 r 添加 0 ≤ r 和为每个右边界变量 r 添加 r ≤ n 从 C′ 得到的。
- 完成规则 ： [B, ρB], [A(α) → Φ • B(x1...y1, ..., xk...yk)Ψ, ⟨r, C⟩] 可推导出 [A(α) → ΦB(x1...y1, ..., xk...yk) • Ψ, ⟨r, C′⟩] ，其中 C′ = C ∪ {ρB(j).l = r(Υ(xj)).l, ρB(j).r = r(Υ(yj)).r | 1 ≤ j ≤ k} 。
- 转换规则 ： [A(α) → Ψ•, ⟨r, C⟩] 可转换为 [A, ρ] ，其中存在一个子句 A(α) → Ψ 的实例化 f 满足 ⟨r, C⟩ ，使得 f(A(α)) = A(ρ) 。

以下是一个示例解析跟踪表：
| item | operation |
| — | — |
| [M, (5ε5, 5ε5)] | scan |
| [A, (1ε1, 6ε6)] | scan |
| [A(aX, aY ) → •A(X, Y ), {a1.l + 1 = a1.r, a1.r = X.l, X.l ≤ X.r, a2.l + 1 = a2.r, a2.r = Y.l, Y.l ≤ Y.r}] | initialize |
| [A(aX, aY ) → A(X, Y )•, {. . . , 1 = X.l, 1 = X.r, 6 = X.l, 6 = X.r}] | compl. 3, 2 |
| [A, (0a1, 5a6)] | convert 4 |
| [S(XY Z) → •A(X, Z)M(Y, Y ), {X.l ≤ X.r, Y.l ≤ Y.r, Z.l ≤ Z.r, X.r = Y.l, Y.r = Z.l, X.r ≤ Z.l}] | initialize |
| [S(XY Z) → A(X, Z) • M(Y, Y ), {. . . , 0 = X.l, 1 = X.r, 5 = Z.l, 6 = Z.r}] | comp. 5, 6 |
| [M, (1cbbc5, 1cbbc5)] | |
| [S(XY Z) → A(X, Z)M(Y, Y )•, {. . . , 1 = Y.l, 5 = Y.r}] | comp. 7, 8 |
| [S, (0acbbca6)] | convert 9 |

5. 带预测操作的 Earley 解析

在带活动项的 CYK 算法基础上添加预测操作，得到 Earley 风格的算法。该算法中被动项根据是否预测或完成有所不同，预测的被动项包含范围约束向量，完成的被动项包含范围向量，活动项与 CYK 算法中的相同。
- 初始化规则 ： [S, ⟨(⟨r1, r2⟩), {0 = r1, n = r2}⟩] ，预测一个覆盖整个输入的 S 。
- 预测操作 ：
- predict - rule ：对于给定的预测被动项 [A, ⟨r, C⟩] ，预测活动项 [A(x1 . . . y1, . . . , xk . . . yk) → •Ψ, ⟨r′, C′⟩] ，其中 ⟨r′, C′⟩ 是从子句 A(x1 . . . y1, . . . , xk . . . yk) → Ψ 的范围约束向量通过添加 C 中的约束得到的。
- predict - pred ：对于活动项 [A(...) → Φ • B(x1...y1, ..., xk...yk)Ψ, ⟨r, C⟩] ，预测被动项 [B, ⟨r′, C′⟩, p] ，其中 r′(i).l = r(Υ(xi)).l ， r′(i).r = r(Υ(yi)).r ， C′ = {c | c ∈ C, c contains only range variables from r′} 。
- 扫描规则 ：当预测的谓词可以由一个空子句推导时应用， [A, ⟨r, C⟩, p] 可得到 [A, ρ, c] ，其中存在一个子句 A(α) → ε 的可能实例化 f 满足 ⟨r, C⟩ ，使得 f(A(α)) = A(ρ) 。
- 完成和转换规则 ：与带活动项的 CYK 算法类似，但在被动项中添加了标志 c 。

以下是 Earley 解析的示例跟踪表：
| item | operation |
| — | — |
| [S, ⟨(⟨r1, r2⟩), {0 = r1, 6 = r2}⟩] | initialize |
| [S(XY Z) → •A(X, Z)M(Y, Y ), {X.l ≤ X.r, Y.l ≤ Y.r, Z.l ≤ Z.r, X.r = Y.l, Y.r = Z.l, 0 = X.l, 6 = Z.r}] | pred.-rule |
| [A, (⟨r1, r2⟩, ⟨r3, r4⟩), {r1 ≤ r2, r3 ≤ r4, r2 ≤ r3, 0 = r1, 6 = r4}] | pred.-pred |
| [A(aX, aY ) → •A(X, Y ), {a1.l + 1 = a1.r, a1.r = X.l, X.l ≤ X.r, a2.l + 1 = a2.r, a2.r = Y.l, Y.l ≤ Y.r, . . . , 0 = a1.l, 6 = Y.r}] | initialize, pred.-rule |
| [A, (⟨r1, r2⟩, ⟨r3, r4⟩), {r1 ≤ r2, r3 ≤ r4, r2 ≤ r3, 1 = r1, 6 = r4}] | pred.-pred |
| [A, (1ε1, 6ε6)] | scan |
| [A(aX, aY ) → A(X, Y )•, {0 = a1.l, 1 = a1.r, 1 = X.l, 1 = X.r, 5 = a2.l, 6 = a2.r, 6 = Y.l, 6 = Y.r}] | compl. 4,6 |
| [A, (0a1, 5a6)] | convert |

6. 解析森林的获取

到目前为止，我们描述的是识别器，而不是解析器。从带范围边界约束的 Earley 识别器的项集获得解析森林的方法很简单。每当进行 convert 操作时，就找到了一个完全实例化的子句。通过收集这些子句，我们可以得到解析森林的紧凑表示。从覆盖整个输入的 S 谓词开始，沿着右侧实例化谓词的子句，就可以从这个森林中读取单个解析树。

7. 总结与展望

范围连接语法的一个关键特性是在推导过程中，子句的变量、终端和空参数必须用输入字符串的实际子串（范围）进行实例化。因此，对于给定字符串 w 的实例化子句集是一个有限集，可以将其视为上下文无关重写规则，从而应用 CFG 解析技术。
- 解析算法优化 ：
- 可以从整个语法中预编译额外的约束，而不仅仅是子句的范围约束向量。
- 通过动态重排子句的右侧，可以扩展 predict - pred 操作，始终预测剩余右侧中产出边界最大程度指定的谓词。
- RCG 解析的挑战与机遇 ：尽管一般的高效 RCG 解析很困难，但存在一些有用的 RCG 子类，如 Søgaard 提出的用于对齐的 (2, 2) - BRCGs 和可用于描述省略和其他椭圆现象的非擦除自底向上线性 RCGs。开发这些受限类型 RCG 的高效解析器是有可能的。

8. 问题解答

• 问题 9.1 ：考虑基本的 CYK 算法，假设处理的是二值化的 RCG，即子句右侧最多包含两个元素，并且 RCG 是非组合的，子句左侧参数长度 ≤ 2。在这些限制下，CYK 算法的复杂度分析需要考虑子句的结构和输入字符串的长度。由于右侧元素数量有限，并且左侧参数长度有界，算法的复杂度会有所降低，但具体的复杂度还需要进一步详细分析。
• 问题 9.2 ：对于子句 A(aX, Y a, ε) → C(XY ) ，其范围约束如下：
  • 设 Υ(c) 为子句中元素的最大索引，这里 Υ(c) = 4 。
  • 范围约束向量 ⟨r, C⟩ 中， r 的维度为 4，所有范围边界变量两两不同。
  • 对于终端 a 的出现，有 r(1).l + 1 = r(1).r 和 r(3).l + 1 = r(3).r 。
  • 对于变量 X 和 Y ，根据它们的相邻关系，有 r(1).r = r(2).l 和 r(2).r = r(3).l 。
  • 对于空参数 ε ，有 r(4).l = r(4).r 。
  • 同时，对于所有的 ⟨r1, r2⟩ ∈ r ，有 r1 ≤ r2 。
• 问题 9.3 ：考虑 RCG G 具有以下子句：
  • S(XY ) → A(X, X)B(Y, Y )
  • A(aX, bY ) → A(X, Y )
  • B(cX, dY ) → B(X, Y )
  • A(bX, Y ) → A(X, Y )
  • B(dX, Y ) → B(X, Y )
  • A(X, aY ) → A(X, Y )
  • B(X, cY ) → B(X, Y )
  • A(ε, ε) → ε
  • B(ε, ε) → ε
  • 字符串语言 L(G) ：通过对这些子句的分析， L(G) 是由 A 和 B 生成的字符串组合而成的语言。 A 可以生成以 a 和 b 组成的字符串， B 可以生成以 c 和 d 组成的字符串，因此 L(G) 是这些字符串组合的集合。
  • 计算 First 集合 ：
    • First(A, 1) ：根据 First 集合的定义，从子句中可以看出， A 的第一个参数可以以 a 或 b 开头，或者为空，所以 First(A, 1) = {ε, a, b} 。
    • First(A, 2) ：同理， A 的第二个参数可以以 a 开头，或者为空，所以 First(A, 2) = {ε, a} 。
    • First(B, 1) ： B 的第一个参数可以以 c 或 d 开头，或者为空，所以 First(B, 1) = {ε, c, d} 。
    • First(B, 2) ： B 的第二个参数可以以 c 开头，或者为空，所以 First(B, 2) = {ε, c} 。
  • 可能的过滤器 ：在自顶向下解析过程中，可以使用 First 和 Last 集合作为过滤器，限制子句实例化的计算。例如，只考虑参数以 First 集合中元素开头的实例化，或者只考虑参数以 Last 集合中元素结尾的实例化。此外，还可以使用长度约束作为过滤器，只考虑满足参数长度要求的实例化。

综上所述，范围连接语法的解析是一个复杂但有趣的领域，通过不断优化算法和利用约束传播等技术，可以提高解析效率。同时，针对不同类型的 RCG 开发高效解析器是未来的一个重要研究方向。

范围连接语法解析指南

9. 解析流程总结与对比

为了更清晰地理解不同解析算法的特点和流程，我们对前面介绍的几种解析方法进行总结和对比。

解析算法	特点	主要操作	优势	劣势
基本 CYK 算法	传统的解析方法，需要同时检查右侧所有元素	完成步骤检查所有右侧元素	经典方法，理论基础扎实	需要检查大量索引，计算成本高
带活动项的 CYK 解析	引入活动项，在子句右侧移动点，避免同时检查大量索引	扫描、初始化、完成、转换规则	减少同时检查的索引数量，提高效率	仍需处理较多的实例化计算
带预测操作的 Earley 解析	在 CYK 基础上添加预测操作，使用范围约束向量	初始化、预测规则、扫描、完成和转换规则	可以更增量地计算范围边界，减少不必要的实例化猜测	算法复杂度相对较高

下面是这些解析算法的流程 mermaid 流程图：

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px;

    A([开始]):::startend --> B{选择解析算法}:::decision
    B -->|基本 CYK 算法| C(检查右侧所有元素):::process
    B -->|带活动项的 CYK 解析| D(引入活动项):::process
    B -->|带预测操作的 Earley 解析| E(添加预测操作):::process
    C --> F(完成解析):::process
    D --> G(扫描、初始化、完成、转换):::process
    E --> H(初始化、预测、扫描、完成、转换):::process
    G --> F
    H --> F
    F --> I([结束]):::startend

10. 范围约束向量的详细分析

范围约束向量在带约束传播的解析中起着核心作用，下面我们对其进行更详细的分析。

10.1 范围约束向量的构建

范围约束向量的构建基于子句的结构和元素的位置。以子句 S(XY Z) → A(X, Z)M(Y, Y ) 为例，其范围约束向量的构建步骤如下：
1. 确定 Υ(c) ：该子句中， Υ(c) = 3 ，因为有三个不同的元素 X 、 Y 、 Z 。
2. 定义 r ： r 的维度为 3，设为 (⟨r1, r2⟩, ⟨r3, r4⟩, ⟨r5, r6⟩) ，其中所有范围边界变量两两不同。
3. 添加基本约束：对于所有 ⟨r1, r2⟩ ∈ r ，添加 r1 ≤ r2 到约束集合 C 中。
4. 处理相邻元素：由于 X 和 Y 相邻， Y 和 Z 相邻，添加 r2 = r3 和 r4 = r5 到 C 中。

10.2 范围约束向量的作用

范围约束向量的主要作用是在解析过程中限制实例化的可能性，减少不必要的计算。例如，在预测子句时，通过范围约束向量可以提前排除一些不满足约束的实例化，从而提高解析效率。

11. 解析器优化策略

为了进一步提高解析器的效率，可以采用以下优化策略：

11.1 预编译额外约束

除了子句的范围约束向量，还可以从整个语法中预编译额外的约束。这些约束可以基于语法的全局结构和规则，帮助在解析过程中更快地排除不合法的实例化。例如，如果语法中有一些固定的模式或规则，可以将其转化为约束条件，在解析前进行检查。

11.2 动态重排右侧谓词

动态重排子句的右侧谓词可以根据对谓词产出的了解程度，优先处理范围向量更明确的谓词。具体操作步骤如下：
1. 在预测子句时，分析每个谓词的范围向量信息。
2. 根据范围向量的明确程度对右侧谓词进行排序。
3. 优先处理范围向量唯一指定或最大程度指定的谓词。

11.3 过滤器的使用

在解析过程中，可以使用各种过滤器来限制子句实例化的计算。常见的过滤器包括：
- First 和 Last 集合过滤器 ：只考虑参数以 First 集合中元素开头或 Last 集合中元素结尾的实例化。
- 长度约束过滤器 ：只考虑满足参数长度要求的实例化。

12. 实际应用案例分析

为了更好地理解范围连接语法解析在实际中的应用，我们以一个简单的自然语言处理场景为例进行分析。

假设我们要解析一个句子，判断其是否符合某种语法规则。我们使用带预测操作的 Earley 解析器，并结合上述的优化策略。

12.1 语法规则定义

定义一个简单的语法，例如：

S(XY ) → A(X)B(Y )
A(aX) → A(X)
A(ε) → ε
B(bY ) → B(Y )
B(ε) → ε

12.2 输入句子

输入句子为 aaabbb 。

12.3 解析过程

1. 初始化 ：预测一个覆盖整个输入的 S ，即 [S, ⟨(⟨r1, r2⟩), {0 = r1, 6 = r2}⟩] 。
2. 预测规则 ：根据 S 的预测，生成活动项 [S(XY ) → •A(X)B(Y ), {X.l ≤ X.r, Y.l ≤ Y.r, X.r = Y.l, 0 = X.l, 6 = Y.r}] 。
3. 预测谓词 ：预测 A 和 B 的范围约束向量。
4. 扫描 ：根据输入字符串，逐步扫描并匹配谓词。
5. 完成和转换 ：当满足条件时，进行完成和转换操作，最终得到解析结果。

通过这个实际案例可以看出，范围连接语法解析可以有效地判断句子是否符合语法规则，并且通过优化策略可以提高解析效率。

13. 总结

范围连接语法解析是一个复杂而重要的领域，涉及到多个关键概念和算法。通过本文的介绍，我们了解了 First 和 Last 集合、右侧谓词重排序、带约束传播的解析方法等核心内容。同时，我们还探讨了不同解析算法的特点和优化策略，以及如何在实际应用中使用这些技术。

虽然一般的高效 RCG 解析仍然面临挑战，但通过不断探索和优化，我们可以开发出针对特定 RCG 子类的高效解析器。未来的研究方向可以集中在进一步提高解析效率、扩展语法的表达能力以及应用到更多的实际场景中。

总之，范围连接语法解析为自然语言处理、形式语言分析等领域提供了强大的工具，值得我们深入研究和应用。