5、自然语言语法形式主义与解析初步

自然语言语法形式主义与解析初步

1. 自然语言语法形式主义

1.1 上下文无关文法（CFG）的局限性

CFG 在处理自然语言时表达能力不足。Shieber（1985）给出了正式证明，指出瑞士德语由于存在交叉串行依赖，不是上下文无关的。因为瑞士德语有格标记，所以即使在字符串语言中，依赖关系也是可见的，这使得 Shieber 能够基于弱生成能力进行论证。此外，CFG 通常不能被强词汇化，而词汇化被认为是自然语言合适语法形式主义的一个理想属性。

1.2 更强大的语法形式主义

由于 CFG 的这些缺点，催生了各种更强大的语法形式主义，它们逐渐扩展了上下文无关文法的特性：
- 树邻接文法（TAG） ：不仅允许像 CFG 那样用新树替换叶子节点，还允许用新树替换内部节点。
- 线性上下文无关重写系统（LCFRS） ：允许非终结符的产出不仅由单个字符串组成，还可以由非相邻字符串的元组组成。
- 范围连接文法（RCG） ：甚至允许字符串在不同上下文中多次使用。

这些语法框架及其等价形式构成了一个字符串语言的层次结构，如下表所示：
| 语法形式主义 | 特点 | 是否具有适度上下文敏感性 |
| — | — | — |
| CFG | 基本的上下文无关文法，表达能力有限 | 否 |
| TAG, LIG | 扩展了 CFG 的树替换能力 | 是 |
| 树局部 MCTAG | - | - |
| LCFRS, MCFG, 简单 RCG | 非终结符产