13、概率句法分析：概念、方法与实践

概率句法分析：概念、方法与实践

引言

句法分析是自然语言处理中的关键任务，它可以被视为对句子进行分块思想的直接应用，即识别更高层次的结构单元，从而压缩对句子的描述。在探讨概率句法分析时，我们需要明确目标，是利用句法结构进行语义解释，还是为信息检索系统检测短语块，亦或是构建优于n - 元语法模型的概率句法分析器。为了实现这些目标，我们应充分利用已有的先验信息。

一些概念

用于消歧的句法分析

在句法分析器中，概率有至少三种不同的应用方式：
1. 确定句子 ：将句法分析器作为词格上的语言模型，确定词格中概率最高的词序列。例如在语音识别应用中，输入句子不确定，词格可表示各种假设，句法分析器的任务就是推断说话者可能说的内容。
2. 加速句法分析 ：利用概率对句法分析器的搜索空间进行排序或剪枝，在不影响结果质量的前提下，使句法分析器更快地找到最佳分析结果。
3. 在多个分析结果中进行选择 ：从输入句子的多个分析结果中选择最可能的结果。本章将重点关注这一应用，即使用统计句法分析器进行消歧。

以句子 “The post office will hold out discounts and service concessions as incentives.” 为例，它存在多种可能的句法结构，如：

a.
S
NP
The post office
Aux
will
VP
V
hold out
NP
NP
discounts