Gated Self-Matching Networks for Reading Comprehension and Question Answering论文笔记

最新推荐文章于 2022-01-09 00:16:37 发布

原创最新推荐文章于 2022-01-09 00:16:37 发布 · 1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#QA #问答系统 #NLP

Deep Learning 同时被 2 个专栏收录

97 篇文章

订阅专栏

问答系统

29 篇文章

订阅专栏

本文提出了一种基于端到端多层神经网络的阅读理解式问答系统模型，该模型在Stanford SQuAD数据集上取得领先结果。模型通过编码问题和篇章，使用门注意力机制和自匹配注意力机制，最后利用Pointer-network预测答案边界。

原文下载链接

摘要

检索式问答系统试图从文档中获取问题的答案。一般步骤是先从一众文档中检索相关文档，然后再进一步检索文档回答问题。本文解决的是后一步，即阅读理解式的问答系统。文章基于端到端的多层神经网络模型从篇章中获取答案。

模型分为四部分：一是使用多层双向神经网络编码问题和篇章的语义向量表示；二是使用门注意力机制得到问题感知的篇章的语义向量表示；三是通过 Self-Matching 注意力机制提炼篇章的语义向量表示，从全部篇章中编码最终语义向量表示；四是利用 Pointer-network 来预测答案边界，从而得到最终答案。在 Stanford 发布的机器阅读理解比赛数据集 SQuAD 上，本文提出的模型的单模型和集成模型结果都分别排名第一。

Task 描述

对于阅读理解式的问答系统，给出了一个段落P和问题Q，我们的任务是根据在P中找到的信息预测答案A.

Gated Self-Matching Networks(门自匹配网络)

整个框架如Figure 1所示，首先，问题和段落分别由双向循环网络处理。然后，我们将问题和段落通过门注意力的循环网络（gated attention-based recurrent networks）相匹配，从而获得该段落的问题感知表示。之后，用自匹配注意力来整和整个段落的信息以进一步优化段落的表达，然后将其输入到输出层来预测答案的边界。

1.问题与段落编码

问题，段落，首先将words转换成word-level的embeddings和以及character-level的embeddings和，character-level的embeddings是双向RNN的最后一个隐含状态，之所以加上character-level的embeddings，是因为其能够处理out-of-vocab(OOV)的情况，通过双向RNN（所有网络中的RNN都是采用的GRU,因为GRU和lstm的效果相当，但是计算量较小）得到Q和P的新的表达和：

2.门注意力RNN(Gated Attention-based Recurrent Networks)

这一层的目的是将问题中的信息添加到段落的表达中：

注括号内为[u_t_(P),c_t]*

V_t_(P)为新生产的段落中words的表达，请参看Figure1进行理解，门是基于当前段落word及其 attention-pooling vector of the question，其侧重于问题与当前段落word之间的关系。门有效地模拟了阅读理解中只有部分word是和问题相关的。

3.自匹配注意力（self-Matching Attention）

通过上述操作，已经编码出了段落中的哪部分是重要的，但是这样的编码还存在的问题是：这部分重要段落缺乏上下文信息，因此这部分就是解决该问题的。该部分编码出的段落表达（请参看Figure1）:

4.输出层

采用pointer network来预测答案的开始和结束位置，利用注意力机制作为选择起始位置()和结束位置():

其中为pointer network的最后一个隐含层状态，pointer network的输入为基于当前预测概率的attention-pooling vector:

采用问题向量作为attention-pooling vector：

训练时，最小化真实start和end位置的负log概率之和。

实验

文章的实验做得比较充分，这里补充一些实现细节：out-of-vocab的word是用零向量表示的；采用1层双向GRU来计算character-level embeddings，3层双向RGU编码问题和段落，所有层中隐含层向量长度都设置为75，层间dropout 率为0.2，优化方法AdaDelta,初始学习率为1，和分别为0.95和1e-6。