19、非终结分隔文法的最大解析性能界定

非终结分隔文法的最大解析性能界定

1. 引言

近年来，自然语言的无监督解析受到了越来越多的关注。评估解析器的标准方法是将其输出与黄金树库（如宾州树库）进行比较，使用精确率、召回率和 F1 指标。

与无监督解析问题相关的是语法推理问题，其目标之一是找到适合建模自然语言且在某种意义上可学习的语言类。有研究认为自然语言接近非终结分隔（NTS）语言类，且无歧义 NTS（UNTS）语言在多项式时间内是 PAC 可学习的。然而，UNTS 文法的表达能力远不如 NTS 文法，无法容纳自然语言句子的基本集合。

为了缩小 UNTS 和 NTS 之间的差距，我们提出了一种对 UNTS 文法的轻微泛化，即无歧义弱 NTS（UWNTS）文法。与 UNTS 不同，UWNTS 文法足够通用，可以容纳任何有限语言，同时保留了 UNTS 文法的其他方面，包括多项式时间内的 PAC 可学习性。

我们的目标是研究 UWNTS 文法对自然语言语法建模的潜力。具体来说，我们要找到所有 UWNTS 文法在给定黄金树库上可达到的 F1 性能的上限，而不依赖于学习算法和训练材料。知道模型的上限至少在两个方面是有用的：一是如果上限低于我们期望的性能，我们可以考虑不使用该模型；二是如果上限不低，它可能有助于学习算法的开发，因为可以评估算法的性能与上限的接近程度。

2. 符号和定义

2.1 相关术语定义

• 子串集合 ：对于语言 L，Sub(L) 是 L 中元素的非空子串集合，Sub(L) 是 L 中元素的非空真子串集合。
• 字符串重叠