10、自然语言处理中的句法、语义、语篇表示及语言模型

自然语言处理中的句法、语义、语篇表示及语言模型

1. 句法表示

1.1 依赖解析

在自然语言中，语法是由单词和短语构成的一组结构规则。英语中的每个句子都遵循一定的模式，这些模式被称为语法，它表达了一个（中心）词与其依赖词之间的关系。了解这些语法规则有助于消除句子中的上下文歧义。

解析是自然语言处理中识别句子中单词句法关系的任务。描述自然语言句子结构通常有两种方式：
- 成分语法解析 ：将句子表示为其组成短语，递归到单个单词级别，将句子映射到成分解析树。
- 依赖语法解析 ：根据单词之间的依赖关系将它们连接起来，将句子映射到依赖解析树。依赖关系是一对一的对应关系，句子中的每个单词都有一个节点，依赖解析树中单词之间的链接是有方向的，从中心词指向依赖词。

解析器通常分为两种方法：
- 自顶向下解析器 ：使用带有回溯机制的递归算法，从根节点向下解析到句子中的所有单词。它推导出的树在语法上总是一致的，但可能无法与句子中的所有单词对齐。
- 自底向上解析器 ：从单词开始，基于移位/归约或其他算法构建解析树。它能对齐所有单词，但可能并不总是符合语法意义。

1.2 上下文无关文法

语法是定义句子中单词句法结构和模式的一组规则。由于这些规则通常是固定和绝对的，上下文无关文法（CFG）可用于表示一种语言的语法规则。CFG通常采用巴科斯 - 诺尔形式表示，能够捕捉句子中单词的成分和顺序。

然而，由于语言固有的歧义性，CFG可能