论文笔记 ： Review Networks for Caption Generation

Review Networks for Caption Generation

ZhilinYang, YeYuan, YuexinWu, RuslanSalakhutdinov, WilliamW.Cohen School of Computer Science Carnegie Mellon University {zhiliny,yey1,yuexinw,rsalakhu,wcohen}@cs.cmu.edu

arXiv:1605.07912v4  [cs.LG]  27 Oct 2016

摘要：

本人提出了一种新的编码解码框架--'review network',   它是通用的，可以用于改进任何已有的编码解码模型

本文涉及两种模型， CNN encoder + RNN decoder  和 RNN encoder + RNN decoder

'review network'在编码器的隐藏状态中使用了若干带有注意力的review步骤，在每一次review后输出 'thought verctor', 该‘review network’被用于解码器中的注意力机制中的输入。

传统的编码解码框架可以视为reviwe  network的特例。

两个变种：

AttentiveInput Reviewer: 主要针对图像

AttentiveOutputReviewer: 主要针对序列

注意力机制 是解码器在生成过程中 附加以编码器的隐藏状态为条件，而不仅仅是以单个context（最后一个encoder的）信息为条件