论文阅读记录

2018-10-10

Exemplar Encoder-Decoder for Neural Conversation Generation
思路清奇，标本编码器解码器，利用训练数据中相似的样本来生成回应。

指出了一个问题：模型的所有参数均来源于训练数据。但是模型参数可能不是充分的对于生成自然语言的会话。因此，即使提供了大量的数据，神经生成模型仍然是无效的对于真实世界的应用。所以使用其他的类似检索策略来辅助生成，不过这个检索策略是在训练数据中进行检索。

2018-10-11

Search Engine Guided Neural Machine Translation
也是利用检索得到的数据指导翻译的生成，对于检索的数据 是从训练集中得到的

如果把整个训练数据当作memory去查询的话，太大了。

检索阶段：
首先使用Apache Luence在训练集中进行搜索得到一个子集，然后根据context之间的模糊匹配分数对子集中的元素进行排序，然后进行最终的选择。在进行最终的选择时，最简单的就是取前top K个。这里是使用贪心的选择策略去最大化源句子的覆盖。但是确保不会出现目标句子本身。

翻译阶段：
1)构建键值内存单元将检索到的数据对均通过NMT，然后以context vector为键，（hidden state_t, y_t)为值。将所有检索对放在一个内存单元中。

2)在翻译阶段，将当前序列的context vector作为query去查询键值内存单元，得到一个权重，最后在生成最终结果的时候，使用检索到信息的方式有两种，深度融合deep fusion和浅度融合 shallow fusion，其中浅层融合则类似于copy机制。实验结果证明，浅层融合的效果更好
最后还添加了coverage机制。