Attention-over-Attention Neural Network for Reading Comprehension----神经网络在阅读理解上的应用

原文链接：https://arxiv.org/pdf/1607.04423.pdf

本片论文主要讲了Attention Model在完形填空类的阅读理解上的应用。（以下是我的个人理解，如有错误，欢迎指正）

使用数据集：

1、CNN/Daliy Mail新闻数据集，将一整篇新闻文档作为完形填空的文本（Document），然后将其新闻摘要中的一句话去掉一个词之后作为查询（Query），去掉的那个词作为答案（Answer）。

2、Children’s Book Test（CBTest）儿童读物数据集：前面连续的20句话作为Document，第21句话作为Query，去掉的一个词为Answer。

Attention-over-Attention Model

(1) 首先，数据集可以表示为三元组的形式<D, Q, A>

(2)Contextual Embedding

将document 和 query中的每个单词表示成one-hot的形式，然后引入一个共享的embedding矩阵We (个人认为也可以使用word2vec词向量初始化，在后续的过程中参与神经网络的训练)

使用双向RNN(GRU)表示文本的embedding，具体公式如下图所示：

其中document 和query的文本embedding维度分别为   ，其中|D|. |Q|分别表示document和query的长度

(2)权值矩阵

其中M(i,j)为document的第I个单词向量和query的第j个单词向量的点乘

(3)column-wise softmax

可以认为是query-to-document 的attention

(4)row-wise softmax

认为document-to-query的attention

(5)融合

(6)预测

Attention-over-Attention Model

N-best Re-ranking Strategy 

在选择答案的过程中可以选择几个候选答案，然后通过打分比较

打分标准：

1、全局n-gram 语言模型：使用全部训练集为document打分

2、局部n-gram语言模型：使用验证集为document打分

3、word-class 语言模型：word class 可以通过聚类获得，使用全部训练集为document打分