29、结构化预测的神经网络模型：从局部到全局的探索

结构化预测的神经网络模型：从局部到全局的探索

在结构化预测领域，神经网络模型展现出了强大的潜力。下面我们将深入探讨几种不同类型的神经网络模型，包括局部过渡模型和全局结构化模型，以及它们在处理输出结构方面的特点和应用。

1. 局部模型的优势与挑战

在表示学习过程中，输出子结构之间的相互依赖关系是隐式获得的。不同子结构上的局部输出层共享相同的序列编码层。在训练时，来自不同局部预测的损失在编码层混合，使网络学习到包含相互依赖子结构信息的输入表示。这种表示是全局的，涵盖了每个输入词的隐藏状态。

局部模型在处理任意输出结构时具有灵活性，相比使用动态规划解码的结构化模型（如CRF），它能更轻松地应对各种情况。然而，神经网络模型强大的表示能力虽然使其能更好地拟合训练数据，但也容易导致过拟合，降低泛化能力。可以使用归一化和丢弃等技术来解决这个问题。此外，与使用可直接解释特征模式对输出进行评分的离散线性模型相比，神经结构化预测模型的可解释性相对较低。

2. 局部过渡模型

过渡模型将输出构建过程转化为状态转换过程，每个状态代表部分构建的输出，过渡动作代表构建结构的增量步骤。以依存句法分析为例，我们可以使用神经特征表示和网络对过渡动作进行评分，构建神经过渡模型。

2.1 模型1

模型1是将离散线性解析器转换为神经网络版本，用神经特征替换离散特征，用多层感知器替换线性模型。具体来说，它选择原子特征，如栈顶的单词和栈中第二个单词的第二右子节点的词性等，作为计算状态隐藏表示的基础。

• 特征表示 ：
  • 单词特征、词性特征和弧