论文笔记：Teaching Machine to Read and Comprehend

最新推荐文章于 2024-06-23 23:51:47 发布

苏何月下追韩信丶

最新推荐文章于 2024-06-23 23:51:47 发布

阅读量3.2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：阅读理解论文笔记文章标签：阅读理解

本文链接：https://blog.youkuaiyun.com/u010995990/article/details/79229257

本文深入探讨了阅读理解领域的经典论文，重点介绍了Deep LSTM Reader、Attentive Reader和Impatient Reader三种神经网络模型。Deep LSTM Reader利用LSTM编码文档和问题；Attentive Reader引入注意力机制，强调关键信息；而Impatient Reader则进一步细化，每个问题词对应文档中的相关词。这些模型为后续的阅读理解研究奠定了基础。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这篇论文可以说是阅读理解领域的奠基之作。

文中最主要的收获就是，提出的三种神经网络模型
1. Deep LSTM Reader
处理过程如图，这个图是用两层的lstm来encoder document ||| query对（这个符号|||表示链接），然后再用得到的表示做分类（得到的输出y，再输入到图右g函数，来做判断）。但是这个两层的lstm我暂时的理解是用了两个lstm。这里希望后续能找到源码看一下

圈出来的部分是我认为对这部分的介绍比较重要的部分，这里面我理解他说的是当我们将doc中的内容一个词一个词先输入到LSTM encoder中，然后在分割符（|||）后，把query也一个词一个词的输入到encoder中。这里作者也尝试了先将query输入encoder，然后再输入doc中的内容。结果却是模型把每个doc-query对，当做一个单一的长句子。而对于给定的embedding后的doc和query，模型需要预测doc中的哪个token（这个token，我的理解是lstm中的哪个中间输出状态）去回答query。

模型数学知识支持：