论文笔记与解读《DRAW: A Recurrent Neural Network for Image Generation》

前言

笔者临近硕士毕业，我的硕士毕业项目十分类似一个非常著名的研究工作： DRAW: A Recurrent Neural Network for Image Generation，该项工作由2015年由Google Deepmind发表在ICML并产生了很大的影响力。其核心贡献点在于，通过视觉注意力关注区域序列，并基于变分自动编码器Variational AutoEncoder (VAEs)，对图像进行生成，而不是将整张图象送入神经网络中进行压缩。

1. 摘要

本文介绍了深度递归书写器（DRAW）神经网络用于图像生成。 DRAW网络是一种模仿人眼空间注意力机制的带有视觉偏好性的，
可变自动编码框架，其主要功能是用于复杂图像的迭代构造。该系统对MNIST上的生成模型的最新技术进行了大幅改善。同时，在街景门牌号码数据集上进行训练，模型生成的图像无法用肉眼与真实数据区分开。

2. 简介与Motivation

 深度递归注意力作家(DRAW)体系结构代表了一种向更自然的图像构造形式的转变，其中场景的部分是独立于其他场景和应用程序创建的，近似草图被依次细化。这个研究工作的motivation是当我们人类在被要求进行绘画和回忆场景的时候，我们通常是以序列的方式进行回顾的。人类在观察图像的过程中，通常每次只观测一小部分，这是因为人类的视觉带宽是有限的。同时，在潜在的视觉注意力机制引导下，通过对全图进行扫描，我们最终可以对原始场景进行回忆和重构，这样一个过程是十分自然，干净，优雅的。

那么如何实现这样的一种机制呢？答案是通过一组RNN网络构成的变分自动编码器进行实现：一个编码器网络用来对真实图像进行压缩，同时一个解码器对压缩后图像进行恢复。二者的组合完全是一个端到端的SGD过程，这里的损失函数是一个二进制交叉熵和KL散度。与众不同的是，模型生成的过程不是一次single pass的方式，而是一种迭代重建的方式，通过修改decoder的预测结果来不断地对最终结果进行累计。

3. DRAW网络模型

基本的DRAW模型结构与传统的变分编码器结构相类似，它是由一组编码器和解码器网络构成的。其中编码器是决定了潜在变量空间的分布用来捕捉显著的输入信息；一个解码器用来接受从编码分布中采样出出来的样本，并使用它们对图像上的自身分布进行条件化。

然而这里有三个关键的不同点：

1. DRAW结构中的编码器和解码器的结构都是Recurrent Neural Network，也就是说它处理的输入是一个时间序列的数据，这意味着编码空间的样本序列是时刻在他们中间进行交换的。
2. 对于解码器来说，编码器的先前输出状态是私密的，不共享的。这意味着编码器的行为，是根据到目前为止的解码器的行为造成的。其次，解码器的输出是不断被添加到最终的分布，从而修改生成的数据，而不是在一步中输出全部的数据
3. 一个动态更新的注意力机制被使用，用于同时限制输编码器的观测点和解码器的输出区域

简单而言，是由网络决定“每步看哪”然后同时决定“写哪”和“写什么”。神经结构图如下所示：

如图所示，左边是传统的变分编码器流程。输入x进入编码器，同时生成潜在的编码空间后进行Q sampling过程得到Q(z|x)，并将采样结果作为潜在编码空间z交给解码器，解码器再根据z的条件生成对应的分布P(x|z) 作为自动编码器的输出。 右边是本文提出的网络结构。其基本流程如下：

基本组成部分：输入数据x，read操作，RNN编码器，Q采样，RNN解码器，write操作。

基本过程（以t时刻状态为准）：

1. t状态一个batch的输入数据x；上一个t-1状态的编码器输出，以及t-1状态解码器的输出c(t-1)；送入t时刻的read
2. read后将结果送入RNN编码器，同时将t-1状态的编码器输出，上个状态的解码器输出；送入t时刻的RNN编码器
3. t时刻的编码器输出进行Q采样，该输出为当前时刻的z潜在空间
4. 将隐藏空间的z送入解码器，同时将t-1状态的解码器输出送入解码器RNN；