InfoGAN学习笔记

InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets

Xi Chen, Yan Duan, Rein Houthooft, John Schulman, Ilya Sutskever, Pieter Abbeel

https://arxiv.org/abs/1606.03657

 

一、从GAN到InfoGAN

1.GAN存在的问题

GAN通过生成器与判别器的对抗学习，最终可以得到一个与real data分布一致的fake data，但是由于生成器的输入z是一个连续的噪声信号，并且没有任何约束，导致GAN无法利用这个z，并且无法将z的具体维度与数据的语义特征对应起来，并不是一个可解释的表示。

GAN存在的问题：无约束、不可控、噪声信号z很难解释等问题。

2.InfoGAN：通过最大化生成对抗网络的信息进行可解释的表示学习

InfoGAN是对GAN的一种改进，曾被OPENAI称为2016年的五大突破之一。

InfoGAN以此为出发点，试图利用z寻找一个可解释的表达，于是将z进行拆解，可分为如下两部分：

①z:不可压缩的噪声

②c:可解释的隐变量(latent code)

(其目的在于数据分布的显著结构化语义特征)

作者希望通过约束隐变量c与生成数据之间的关系，可以使得c里面包括有对数据的可解释信息。如文中提到的MNIST数据集，c可以分为categorial latent code指向数字种类信息(0-9)，continous latent code指向倾斜度、粗细。

二、InfoGAN理论分析

1.无监督学习

(1)无监督学习是指从无标签数