34、自然语言句子分析与特征语法构建

自然语言句子分析与特征语法构建

1. 句子解析与概率分析

在自然语言处理中，句子解析是一项重要任务。通过给解析树分配概率，我们能更有效地处理可能存在大量解析结果的句子。例如，使用 Viterbi 解析器可以找到最可能的解析结果：

viterbi_parser = nltk.ViterbiParser(grammar)
print viterbi_parser.parse(['Jack', 'saw', 'telescopes'])

输出结果为： (S (NP Jack) (VP (TV saw) (NP telescopes))) (p=0.064) 。这表明解析器找到了一个概率为 0.064 的解析树。

2. 句子结构与语法基础

句子具有内部结构，可用树来表示。成分结构有递归、中心词、补语和修饰语等显著特征。语法是对潜在无限句子集的紧凑描述，它能判断一棵树是否符合规则。

• 上下文无关语法（CFG） ：给定一组句法类别，CFG 使用一组产生式来描述某个类别 A 的短语如何分解为更小的部分序列 α1 … αn。
• 依存语法 ：使用产生式指定给定词法中心词的依存项。

3. 句法歧义与解析器

句法歧义是指一个句子有多种句法分析，如介词短语附着歧义。解析器则是用于找到与语法正确句子对应的一个或多个树的程序。

常见的解析器有：