深度学习【40】Improved Techniques for Training GANs

该论文提出了一些关于训练GAN的技巧，在mnist上生成的样本人类无法分辨真假，在CIFAR-10上生成的样本人类分辨的错误率为21.3%。

优化

feature matching

为G网络加了一个损失函数：

函数f表示D网络最后输出层的前一层特征图。f(x)由真实数据抽取而来，f(G(z))为G网络生成的图片抽取而来。

Minibatch discrimination

GAN训练过程中经常会出现G网络生成的图片为了能够欺骗D网络，而生成仅仅能够让D网络认为是真实的图片。也就是G网络生成的图片都太相似了，没有多样性。这是因为D网络没有一个能够告诉G网络，应该生成不相似的图片。为此作者提出了一个minibatch discrimination来解决这个问题。

minibatch disrimination通过计算一个minibath中样本D网络中某一层特征图之间的差异信息，作为D网络中下一层的额外输出，达到每个样本之间的信息交互目的。具体的，假设样本$x_i$在D网络中某一层的特征向量为$f(x_i) \in R^A$，然后将$f(x_i)$ 乘以一个张量T∈R