原始GAN存在的问题

原始GAN在训练中遇到判别器过于强大导致loss恒为0,无法有效引导生成器更新,以及模式塌陷现象,使得生成的图像质量不佳。判别器过强可能因近似采样导致数据分布间存在未发现的重合,同时数据本身的高维低维特性也加剧问题。模式塌陷则表现为生成器倾向于生成相似而非多样化的图像。解决这些问题需要平衡判别器的能力并优化损失函数。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、判别器非常强,导致loss都是0,不能引导生成器更新,所以可能生成出来的图像和真实图像差别很大,而loss仍然是0

原因1、我们是近似采样,并不能对原始数据全部采样

loss如下:

      说明从两个分布采样的数据没有重合区域,但是其实两组数据之间有重合,只是判别器太强了,可以找到一条线将两组数据分开,如图所示。

图上的点是两个分布的采样数据,因为我们并不知道分布,只能对分布采样,通过采样后的数据分布近似原始分布

       通过对分布采样,总能找到一条线将两组数据分开,因此我们要削弱判别器的能力,但是我们又想让判别器具有很强的能力,所以很矛盾,不知道削弱多少才合适。

原因2:数据的本质原因

       因为数据本身就是一种高维空间的低维流形表现,他们之间可能重叠很少,因此,很容易导致JS divergence最大,loss为0,如下图所示。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值