chadlee

《SentiGAN: Generating Sentimental Texts via Mixture Adversarial Networks》最后以GAN的应用结尾，GAN最常用于图像上，所以尝试了解一下GAN在文本生成上的应用。解决什么问题本文的目标是利用 GAN 生成具有高质量、多样性的情感文本。难点是：1、文本的离散特性使采样步骤是不可微的，图像像素可以+0.001，文本没办法。之前有工作如seqGAN把这个问题转换为判别器引导生成器的强化学习。2、mode collapse，生成的文.

《Self-Attention Generative Adversarial Networks》ICML’19，Goodfellow署名。深度卷积网络能够提升 GANs 生成高分辨率图片的细节。这篇文章为了解决在生成大范围相关（Long-range dependency）的图片区域时，CNN局部感受野的影响，因此在DCGAN的基础上引入了Self-attention。解决什么问题在生成例如人脸图片时，细节是非常重要的，比如左右眼，只要左右眼有一点点不对称，生成的人脸就会特别不真实，因此左右眼的区域就是

《ENERGY-BASED GENERATIVE ADVERSARIAL NETWORKS》先介绍EBGAN，再详细解读为什么这样做。Auto-encoder DiscriminatorEnergy-based GAN和普通的GAN的区别就是把Discriminator的网络架构从一个二分类的分类器改成了一个auto-encoder，然后用auto-encoder的reconstruction error做为鉴别器的输出。模型图如下所示这样鉴别器的输入和普通的GAN一样，还是一张图片，输出还是.

W-GAN和GAN相比只改了四点：判别器最后一层去掉sigmoid生成器和判别器的loss不取log每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数c不要用基于动量的优化算法（包括momentum和Adam），推荐RMSProp，SGD也行GAN的问题《Towards Principled Methods for Training Generative Adversarial Networks》ICLR’17W-GAN的作者先在这篇文章中通过大量的数学公式推导分析出了GA

Basic Idea of GAN以图片生成为例，假设有两个网络，G（Generator）和D（Discriminator）：G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D（x）代表x为真实图片的概率，如果为1，就代表100%是真实的图片，而输出为0，就代表不可能是真实的图片。训练目标训练过程中，生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而D的目标就是尽