29、语言处理中的规则分割与词汇简化研究

语言处理中的规则分割与词汇简化研究

迭代规则分割以泛化初始反转 transduction 语法

在语言处理中，为了泛化初始反转 transduction 语法（ITG），我们需要识别现有双终端（biterminals）中可独立有效使用的部分，并允许它们与其他片段组合。这一特性使得有限的 transduction 语法能够生成无限的句子对集合，实现了从训练数据到未见数据的概率分布转移，也就是泛化。

整体策略是提出多组双终端规则及分割位置，评估应用其中一组分割对语法描述长度的影响，然后选择最优的一组。这实际上是对规则集的所有可能分割进行贪心搜索。虽然这是一个难以处理的问题，但可以通过合理有效的近似方法来解决，并且已经得到了实现和测试。

关键评估能力

该方法的关键在于能够评估在语法中进行特定分割时描述长度的变化。这可以扩展到一组分割，进而解决生成合适分割集的问题。

成功分割的关键

成功分割的关键是最大化片段的重用潜力。任何可重用的片段都能节省模型大小。例如，对于终端规则 “A → five thousand yen is my limit / wˇo z ui d¯uo ch¯u wˇu q¯ıan r ı y´uan”，将其拆分为三个规则：
- A → ⟨AA⟩
- A → five thousand yen / wˇu q¯ıan r ı y´uan - A → is my limit / wˇo z ui d¯uo ch¯u

原规则由 16 个符号组成，而新的三个规则由 4 + 9 + 9 = 22 个符号组成。而