概述:
GAN的组成:生成模型G和判别模型D。 D用于评估样本来自原样本集而非G生成的概率。G:造假者,尽量使自己的产品以假乱真;D:警察,负责甄别产品真伪。
GAN可以解决的问题:可以从样本集中生成新的样本,可以学到样本的分布。
理想情况下GAN可以达到的效果:生成模型学到的样本分布与原样本集中样本分布完全一致,从而D得到的概率保持0.5。G的产品能够以假乱真,D无法区分了。
对抗网络
训练过程
理论推导
符号定义
pd(x):元样本集中x的概率密度函数。
pz(z) :输入噪声的概率密度函数。
pg(x):G生成的x的概率密度函数。 G(z)=pg(x),z~pz(z)
优化函数:
minGmaxDV(G,D)=Ex∼pd(x)[log(D(x))]+Ez∼pz(z)[log(1−D(G(z)))]
优化算法:
算法有效性的证明:
易证当G固定时,D的最优值是: pd(x)pd(x)+pg(x)
易证当D取最优值时,当pg(x)=pd(x)时V取极小值。
术语:restricted Boltzmann machines (RBMs)、 deep Boltzmann machines (DBMs)、
Deep belief networks (DBNs)