28、神经结构化预测：局部图基模型详解

神经结构化预测：局部图基模型详解

在自然语言处理领域，结构化预测是一项关键任务，包括序列分割、序列标注和树预测等。传统的离散统计模型在处理这些任务时，往往依赖于对输出进行特征表示，以便根据明确的模式对结构进行评分。而神经网络模型凭借其强大的输入表示能力，能够实现轻量级的输出表示，通过对高度局部的组件进行单独评分来对结构进行评估。本文将详细介绍基于图的局部神经网络结构化预测模型，包括序列标注、依存句法分析和成分句法分析等具体应用，并与线性模型进行比较。

1. 局部图基模型概述

局部图基模型通常由输入层、序列编码层和输出层三个主要部分组成。输入层为每个单词计算表示；序列编码层通过双向 LSTM 和自注意力网络等网络层，学习更具上下文信息的表示；输出层进行局部预测，将标签序列分解为单个标签，依存树分解为单个弧，成分树分解为单个跨度。

2. 序列标注

序列标注的目标是为输入句子中的每个单词分配一个输出标签。以下是该模型各层的详细介绍：
- 输入层 ：输入层可以简单地使用单词嵌入来表示每个单词。对于词性标注等任务，形态特征也是有用的信息来源。可以通过神经网络对单词的字符序列进行编码，具体分为字符嵌入和字符序列编码两个步骤。
- 字符嵌入 ：对于单词中的每个字符，使用查找表获取其字符嵌入向量。
- 字符序列编码 ：使用 CNN 或 LSTM 等序列结构的神经网络编码器对字符序列进行编码，得到包含密集拼写信息的隐藏向量，并与单词嵌入拼接，得到最终的单词表示。
- 序列表示层 ：在输