InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets
Xi Chen, Yan Duan, Rein Houthooft, John Schulman, Ilya Sutskever, Pieter Abbeel
https://arxiv.org/abs/1606.03657
一、从GAN到InfoGAN
1.GAN存在的问题
GAN通过生成器与判别器的对抗学习,最终可以得到一个与real data分布一致的fake data,但是由于生成器的输入z是一个连续的噪声信号,并且没有任何约束,导致GAN无法利用这个z,并且无法将z的具体维度与数据的语义特征对应起来,并不是一个可解释的表示。
GAN存在的问题:无约束、不可控、噪声信号z很难解释等问题。
2.InfoGAN:通过最大化生成对抗网络的信息进行可解释的表示学习
InfoGAN是对GAN的一种改进,曾被OPENAI称为2016年的五大突破之一。
InfoGAN以此为出发点,试图利用z寻找一个可解释的表达,于是将z进行拆解,可分为如下两部分:
①z:不可压缩的噪声
②c:可解释的隐变量(latent code)
(其目的在于数据分布的显著结构化语义特征)
作者希望通过约束隐变量c与生成数据之间的关系,可以使得c里面包括有对数据的可解释信息。如文中提到的MNIST数据集,c可以分为categorial latent code指向数字种类信息(0-9),continous latent code指向倾斜度、粗细。
二、InfoGAN理论分析
1.无监督学习
(1)无监督学习是指从无标签数