生成对抗网络推导

本文深入探讨了生成对抗网络(GAN)的基本原理。首先,当生成器G固定时,证明了最优鉴别器D的性质。接着,介绍了连续随机变量的KL散度和Jensen-Shannon散度,并证明了虚拟训练准则C(G)的全局最小值对应于生成分布与真实分布相等的情况,此时其值为-log4。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1For G fixed, the optimal discriminator D is

DG(x)=q(x)q(x)+p(x)


V(D,G)=Eq(x)[log(D(x))]+Ep(z)[log(1D(G(z)))]=q(x)log(D(x))dx+p(z)p(x|z)log(1D(x))dxdz

固定G,我们的目标是最大化 V(G,D) 。因为 
p(x)=p(z)p(x|z)dz,所以

V(D,G)=q(x)log(D(x))dx+p(x)log(1D(x))dx<
生成对抗网络(Generative Adversarial Networks,简称GAN)是由Ian Goodfellow等人在2014年提出的一种深度学习模型。它由生成器(Generator)和判别器(Discriminator)两部分组成,通过对抗训练的方式来学习数据的分布。 生成器的目标是生成与真实数据相似的样本,而判别器的目标是区分生成器生成的样本和真实数据。两个模型相互竞争、相互博弈,通过不断迭代优化来达到最终的平衡状态。 下面是GAN的公式推导: 1. 生成器: - 输入:随机噪声向量 z - 输出:生成的样本 G(z) 2. 判别器: - 输入:真实样本 x 和生成样本 G(z) - 输出:判别为真实样本的概率 D(x),判别为生成样本的概率 D(G(z)) 3. 目标函数: - 生成器的目标是尽量使生成样本被判别为真实样本,即最大化 D(G(z)) - 判别器的目标是尽量正确地判别真实样本和生成样本,即最大化 D(x) 和最小化 D(G(z)) 4. 优化过程: - 利用梯度下降法来迭代优化生成器和判别器的参数。 - 生成器的参数更新:θ_G ← θ_G + α * ∇θ_G log(1 - D(G(z))) - 判别器的参数更新:θ_D ← θ_D + α * (∇θ_D log(D(x)) + ∇θ_D log(1 - D(G(z)))) 其中,θ_G 和 θ_D 分别表示生成器和判别器的参数,α 是学习率。 通过不断迭代优化生成器和判别器的参数,GAN可以学习到生成器网络能够生成逼真的样本,并且判别器网络能够准确地区分真实样本和生成样本。这样的训练过程可以使生成器逐渐接近真实数据分布,从而实现生成高质量的样本。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值