20、基于话语分析的神经机器阅读理解复杂问题解答

基于话语分析的神经机器阅读理解复杂问题解答

1. 引言

基于深度学习（DL）的机器阅读理解（MRC），有效建模冗长且细节丰富段落中的语言知识至关重要。同时，去除嘈杂的语言信号对提高MRC性能也必不可少。近年来流行的注意力模型在处理所有单词时没有明确的约束，导致对一些不太重要的单词和短语给予了同等关注。研究表明，将明确的句法（Hu等人，2018）和语义（Zhang等人，2019）约束融入注意力机制，以实现更好的语言表示，能够增强单词的编码效果。在这项工作中，针对基于自注意力网络（SAN）的Transformer编码器，我们将话语启用设计引入SAN，形成由话语树（DT）支持的自注意力机制。

人类读者通常会粗略阅读大部分单词，而更关注关键的部分（Wang等人，2017）。尽管已经提出了各种注意力模型来模仿人类学习，但大多数模型，特别是全局注意力方法（Bahdanau等人，2015），在处理句子中的每个单词时一视同仁，没有进行明确的筛选和预先聚焦，导致对一些不太重要的单词的关注不准确（Mudrakarta等人，2018）。对于以段落为重点的MRC，输入序列通常由多个句子组成。大多数神经注意力方法和语言模型将输入序列视为一个整体，例如一个段落，而不考虑每个句子内部的语言结构。因此，会出现由于大量噪声和缺乏每个关注单词的相关跨度而导致的处理偏差。

业内已知，MRC模型在回答长问题时准确率会下降。如果文本特别冗长且包含大量细节，神经模型处理起来会很困难，并且难以构建内部表示。这是因为DL方法容易受到噪声影响，并且无法区分文本片段（Zhang等人，2019）。与此同时，人类读者能够在概念层面上高效处理句子，通过快速浏览后进行一系列的注视和扫视（Galitsky等人，2010；Yu等人，2017）