A Context-aware Attention Network for Interactive Question Answering--阅读笔记

论文来源：2017 KDD
论文链接

ABSTRACT

• 背景：编码器 - 解码器框架中的基于神经网络的序列到序列模型已经成功地应用于求解回答（QA）问题，预测来自陈述和问题的答案。

• 不足：几乎所有以前的模型都没有考虑详细的上下文信息和未知状态，在这些状态下，系统没有足够的信息来回答给定的问题。在交互式答复（IQA）的选择中，包含不完整或模糊信息的情景是非常普遍的。

• Main idea：我们开发了一个新颖的模型，采用了依赖于上下文的单词级别来更精确的语句表示和问题引导的句子级别。我们还生成独特的IQA数据集来测试我们的模型。使用这些机制，我们的模型能够准确地理解何时可以输出答案，或者何时需要根据不同的上下文为附加输入生成补充问题。在可用时，用户的反馈被编码并直接应用以更新句子级别来推断答案。

• 实验：对QA和IQA数据集进行的大量实验定量地证明了我们的模型的有效性，与先进的传统QA模型相比显着改进。

INTRODUCTION

背景

随着大规模QA数据集，高容量机器学习/数据挖掘模型和强大的计算设备的可用性，对QA的研究已经变得活跃而富有成效。诸如谷歌助理，苹果Siri，亚马逊Alexa，Facebook M，Microso Cortana，小冰中文，日文Rinna和MedWhat等商用QA产品在过去几年已经发布。

质量保证研究的最终目标是构建能够自然与人交流的智能系统，这对自然语言处理和机器学习提出了重大挑战。

研究人员已经将编码器 - 解码器框架的序列模型的变体应用于显式存储器和QA任务，旨在移动一步进一步从机器学习到机器推理。同样，所有这些模型都使用编码器来将语句和问题映射到固定长度的特征向量，并使用解码器来生成输出。通过记忆和设置的强化，他们在几个具有挑战性的公共数据集，包括最近广受好评的Facebook bAbI数据集，取得了显着的成功。

现存模型的限制

以前的模型有以下重要限制：
- 首先，他们不能模拟语言的依赖语境的含义。不同的语言在不同的语境中可能有不同的含义，这就增加了在不同的段落中提取每个句子的基本语义逻辑流的困难。
- 其次，许多现有的模型只能在理想的QA设置中工作，并且无法解决模型需要额外的用户输入来收集完整信息以回答给定问题的不确定情况。信息不完全的情景自然会出现在人类的对话中，因此有效地处理它们是智能QA模型的关键能力。

解决方案

为了解决上面提出的挑战，我们提出了一个上下文感知网络（Context- aware A ention Network，CAN）来学习输入句子的细粒度表示，并且建立一个与用户交互的机制来全面理解一个给定的问题。

具体而言，我们使用两级应用在单词级和句子级来计算所有输入句子的表示。从输入故事中提取的上下文信息被允许影响每个单词的意义，并且控制对语句表示有贡献的单词语义。另外，当模型认为没有足够的信息来回答给定的问题时，就会创建一个交互机制来为用户生成一个补充问题。然后对用户对补充问题的反馈进行编码并利用所有输入句子结束以推断答案。我们提出的CAN模型可以被看作是一种编码器 - 解码器方法，它增强了两层结构和交互机制，使得我们的模型具有自适应性，如图1所示。

贡献

我们在本文中的贡献总结如下：

• 我们开发了一种新的编码器 - 解码器模型，称为CAN，用于QA，具有两级结构。
• 我们用交互机制来增强QA的编码器 - 解码器框架，以便处理用户的反馈，从而立即改变句子级别，从而在没有额外的模型训练的情况下推断最终答案。以便为IQA提供不完整或模糊信息的未知状态进行明确建模，并首先提出IQA概念来提高QA的准确性。
• 我们基于Facebook bAbI数据集生成一个新的数据集，即ibAbI，涵盖几个具有代表性的IQA任务。
• 我们进行了大量的实验，证明我们的方法在QA和IQA数据集上均优于最先进的模型。

RELATED WORK

最近在QA方面的工作在很大程度上取决于在编码器 - 解码器框架中对各种神经网络模型的研究和/或存储。

• MemN2N将每个输入句子映射到一个输入表示空间，这个输入表示空间被视为一个内存组件。 输出表