12、概率句法分析：原理、方法与应用

概率句法分析：原理、方法与应用

1. 引言

句法分析实践可看作是组块思想的直接应用，即识别句子中更高层次的结构单元，以压缩对句子的描述。为捕捉不同句子中组块的规律性，需要学习一种能够解释所发现组块结构的语法，这就是语法归纳问题。不过，语法归纳技术在处理有限状态语言时效果较好，但对于处理人类语言复杂性所需规模的上下文无关或更复杂的语言，归纳过程非常困难。

在构建句法分析模型之前，我们需要明确期望模型找到的结构，这意味着要先确定对解析后的句子的用途。可能的目标包括将句法结构作为语义解释的第一步、在信息检索系统中检测短语组块以进行索引，或者构建一个性能优于n - 元语法模型的概率句法分析器。为实现这些目标，应充分利用已有的先验信息。

2. 一些基本概念

2.1 用于消歧的句法分析

在句法分析器中，概率有至少三种不同的应用方式：
- 确定句子 ：将句法分析器作为词格上的语言模型，以确定词格中概率最高的词序列。例如在语音识别应用中，实际输入的句子不确定，通常用词格表示各种假设，句法分析器的任务是确定说话者可能说的内容。
- 加速句法分析 ：利用概率对句法分析器的搜索空间进行排序或剪枝，使分析器能更快地找到最佳解析，同时不影响结果质量。
- 在解析结果中进行选择 ：从输入句子的多个解析结果中选择最可能的解析。本文主要关注这第三种应用，即使用统计句法分析器进行消歧。

以句子 “The post office will hold out discounts and service con