Teaching Machines to Read and Comprehend

关键词

real natural language traning data, nerual model

来源

Teaching Machines to Read and Comprehend
arXiv 2015.06.10 (published at NIPS 2015)

问题

针对阅读理解缺乏大规模训练数据集，从CNN和Daily Mail获取数据，构建了相应的数据集。文章直接做document，关键点和总结用来做query。为了方便数据使用，将人名全部替换为”ent123”类似的样子。然后尝试利用神经网络模型解决机器阅读理解问题。

要解决的问题

1.片段主义分析(Frame-Semantic Parsing)
即判断“who did what to him”。
2.词距判断（word distance Benchmark）

使用模型

Deep LSTM Reader

该模型重新设计LSTM公式，如下：

其中的的”||”表示连接两个向量，”|||”代表query和document的分隔符

Attentive Reader

u(query)由最后一个正向lstm输出和最后一个逆向lstm输出拼接而成。
r(document)的计算公式如下：

r是y*s的和累积。
g的计算公式如下：

Impatient Reader

u(query)由最后一个正向lstm输出和最后一个逆向lstm输出拼接而成。
r(document)计算公式如下：

与Attentive Reader区别是，每个query词都算一个r。
g计算公式如下：

实验结果及结论

文章提供新的较大的数据集，并且指出 CNN 语料要比 Daily Mail 阅读理解难度要低一些。