理解原始Gan Loss 和 Hinge Gan Loss

原创 已于 2023-05-03 22:52:08 修改 · 6.8k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #机器学习 #人工智能

于 2022-03-04 16:16:02 首次发布
本文详细解读了GAN Loss的优化目标及其工作原理，并介绍了Hinge GAN Loss的结合，涉及判别器和生成器的训练策略。通过比较和Hinge Loss的关系，阐述了如何通过调整判别器和生成器的损失函数来提升模型性能。

原始Gan Loss

minG maxD V(D,G)=Ex∼Pdata[log D(x)]+Ez∼Pz (Z)[log(1−D(G(Z)))] \mathop{min}\limits_{G}\space \mathop{max}\limits_{D}\space V(D,G) = E_{x\sim P_{data}}[log\space D(x)] + E_{z \sim P_z \space (Z)}[log(1-D(G(Z)))] Gmin​ Dmax​ V(D,G)=Ex∼Pdata​​[log D(x)]+Ez∼Pz​ (Z)​[log(1

最低0.47元/天 解锁文章
【GAN网络解惑】损失函数怎么选：hinge、LSGAN、WGAN-GP、R1/R2 正则各解决了什么痛点？
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
09-07 843
损失函数怎么选：hinge、LSGAN、WGAN-GP、R1/R2 正则各解决了什么痛点？
GAN入门：基本思想，损失函数，基于pytorch用GAN实现mnist手写数字生成
qq_40268255的博客
11-29 4331
1.基本思想 GAN分为一个生成器（Discriminator，简称D）和一个生成器（Generator，简称G），简单的说，G和D就是两个多层感知器或卷积神经网络，他的基本思想，即为G和D的生成博弈过程。 训练D来让他能辨明真假数据，即给D输入真数据，将label赋值为1，输入假数据，将label赋值为0. 而G是要愚弄D，使他认为G生成的为真数据，即给G输入噪声z，让他生成一个假数据G（z），...
GAN的损失函数
我の博客
01-08 8787
在训练过程中，生成器和判别器的目标是相矛盾的，并且这种矛盾可以体现在判别器的判断准确性上。生成器的目标是生成尽量真实的数据，最好能够以假乱真、让判别器判断不出来，因此生成器的学习目标是让判别器上的判断准确性；相反，判别器的目标是尽量判别出真伪，因此判别器的学习目标是让自己的判别准确性。当生成器生成的数据越来越真时，判别器为维持住自己的准确性，就必须向辨别能力越来越强的方向迭代。当判别器越来越强大时，生成器为了降低判别器的判断准确性，就必须生成越来越真的数据。在这个奇妙的关系中，判别器判断的准确性由。
GAN原始Loss解读
baidu_38634017的博客
06-21 1375
转载自：https://www.cnblogs.com/walter-xh/p/10051634.html 　　GAN的原始损失函数，咋一看是非常难以理解的，但仔细理解后就会发现其简洁性和丰富的含义。 　　损失函数定义： 　　　　 　　一切损失计算都是在D（判别器）输出处产生的，而D的输出一般是fake/true的判断，所以整体上采用的是二进制交叉熵函数。 　　左边包含两部分minG和maxD。 　　首先看一下maxD部分，因为训练一般是先保持G（生成器）不变训练D的。D的训练目标是正确区分fak
GAN: 原始损失函数详解
ch_shijie的博客
03-13 3572
GAN损失函数详解（转载）
Gan的loss函数
qq_38101208的博客
08-08 2858
1. Classic Adversarial Loss 优化目标为： D(x)为经过sigmoid的输出值 （1）在GAN第一阶段——求Discriminator，最大化 实验中统计梯度是对最小值进行寻优的，因此实际操作上是对目标函数做最小化处理： 实现方式： dis_real、dis_fake分别为真假样本输入判别器输出的logit，未经过sigmoid （1）直接计算 L1 = F.mean(-F.log(F.sigmoid(dis_real))...
【GAN】若干常见GAN中的Loss及部分知识
NooahH的博客
05-19 1万+
1. GAN 原始GAN论文[1]中指出，生成器GGG和判别器DDD在进行最小最大博弈。可以用下面的函数表示： min⁡Gmax⁡DV(G,D)=min⁡Gmax⁡DEx∼pdata[log⁡D(x)]+Ez∼pz[log⁡(1−D(G(z)))] \min_{G} \max_{D} V(G, D) = \min_{G} \max_{D} \mathbb{E}_{x \sim p_{data}}[\log D(x)] + \mathbb{E}_{z \sim p_{z}}[\log (1-D(G(z)))]
A Multi-Class Hinge Loss for Conditional GANs
weixin_37958272的博客
05-25 612
A Multi-Class Hinge Loss for Conditional GANs 我们提出了一种新的算法，通过常用的Hinge损失的多级泛化，将类条件信息纳入GANs的critic，该算法与监督和半监督环境兼容。我们研究了同时训练最先进的生成器和准确的分类器之间的折衷。我们展示了生成器-critic对尊重类条件输入和生成最高质量的图像之间的权衡。通过我们的multi-hinge lossmulti-hinge loss修改，我们能够改善Imagenet数据集上的Inception得分和Freche
GAN的Loss的比较研究（5）——能量Loss
StreamRock的专栏
07-25 3628
上一篇文章讲的是《BEGAN: Boundary Equilibrium Generative Adversarial Networks》将能量函数（Energy）与Wasserstein Distance相结合，再辅之以比例反馈控制，让GAN迅速收敛，并保持了多样性。具体是： 让Auto-Encoder作为Discriminator，将原图与重建图的逐点差异（pixel-wise error...
生成对抗网络(Generative Adversarial Networks)
weixin_36670529的博客
05-31 1万+
目录 一、生成对抗网络原理 1、模型的起源 2、模型的结构和损失函数 二、对GAN的改进 1、零和博弈 2、非饱和博弈 3、最大似然博弈 三、GAN的训练 四、GAN面临的问题 1、很难达到纳什均衡点 2、无法有效监控收敛状态 3、模型崩溃 4、不适合离散输出 五、GAN的应用 1、图像生成 2、由文本生成图片 3、超分辨Super-Resolution 一、生...
Hinge Loss
a645061612的博客
09-21 372
主体转载：https://zhuanlan.zhihu.com/p/35708936 函数特性 在机器学习中，hinge loss是一种损失函数，它通常用于"maximum-margin"的分类任务中，如支持向量机。数学表达式为： 个人理解：比如是多分类问题，十分类的话，预测的[10,1]的向量,形如【1.2，0.2，0.1，0.8，0.2，0.2，......】，它的标签也是一个 [10...
gan loss gan_我的GAN怎么了？
weixin_26632369的博客
07-20 758
gan loss ganGenerative Adversarial Networks are a novel class of deep generative models, that have recently gained a lot of attention. I’ve covered them in the past ( Tabular synthetic data — Part 1 a...
gan网络损失函数_GAN的损失函数
weixin_39634576的博客
12-22 2301
理解生成对抗网络的关键在于理解GAN的损失函数JS散度GAN实际是通过对先验分布施加一个运算G, 来拟合一个新的分布如果从传统的判别式网络的思路出发，只要选定合适的loss，就可以使生成分布和真实分布之间的距离尽可能逼近KL散度经常用来衡量分布之间距离但KL散度是不对称的。不对称意味着，对于同一个距离，观察方式不同，获取的loss也不同，那么整体loss下降的方向就会趋向于某个特定方向。这在GAN...
GAN 中Loss函数精讲
gxiaoyaya的博客
04-28 2万+
GANs有生成器Generator和辨别器Discriminator组成，基本的结构图如下： GANs结构示意图 工作原理 　　我们通常使用两个优化算法来训练GANs。判别器是一个普通的神经网络分类器，训练的过程中，我们使用辨别器 (discriminator) 学习引导生成器。 　　判别器： 　　在训练的过程中，我们向辨别器discriminator输入的数据一...
gan loss gan_揭开GAN的神秘面纱
weixin_26752765的博客
09-04 638
gan loss ganThe aim of this article is to illustrate the structure and training method for Generative Adversarial Networks (GANs), highlighting the key ideas behind GANs and elucidating the topic with...
GAN（二）损失函数推导
最新发布
TyjphsQ的博客
04-20 1755
上式中，我们目标是max V（D,G），即固定G，调整D，那么G不受影响，G（z）是近似X的分布，这里我们换元，后半部分，就变成了对x的积分，噪音的分布也写成。X 是真实数据，G(z)是生成的数据，所以有D（x) -> 1, D（G(z)）-> 0.要求调整D，求最值，于是对D进行求导，找驻点嘛。（注意，只是对D求导，并不对x进行求导），就是提高判别器的能力，在判别器眼里，这应该是两种。，就是提高生成器的能力，在生成器眼里，这应该是两种。其中 max 代表，固定G，调整D，使得。
GAN的Loss的比较研究（1）——传统GAN的Loss的理解1
热门推荐
StreamRock的专栏
07-18 4万+
GAN(Generative Adversarial Network)由两个网络组成：Generator网络（生成网络，简称G）、Discriminator网络（判别网络，简称D)，如图： 图1 GAN概念图 因而有两个Loss：Loss_D（判别网络损失函数）、Loss_G（生成网络损失函数）。 Loss_D只有两个分类，Real image判为1，Fake image（由G生成）判为...
表现好的ganloss
06-09
目前在 GAN（Generative Adversarial Network）模型中，常用的表现好的损失函数包括以下几种： 1. WGAN（Wasserstein GAN）：WGAN 是一种改进的 GAN 模型，使用 Wasserstein 距离来度量生成样本与真实样本之间的距离，从而避免了传统 GAN 中的模式崩溃和梯度消失等问题。WGAN 的损失函数是生成器和判别器的 Wasserstein 距离之差。 2. LSGAN（Least Squares GAN）：LSGAN 也是一种改进的 GAN 模型，使用均方误差来度量生成样本与真实样本之间的距离，从而能够生成更加逼真的样本。LSGAN 的损失函数是生成器和判别器的均方误差之和。 3. HINGE 损失函数：HINGE 损失函数是一种基于 SVM 的损失函数，可以让判别器更容易地区分真实样本和生成样本，从而提高训练稳定性和生成样本的质量。HINGE 损失函数的表达式是一个分段函数。 4. GAN-CLS：GAN-CLS 是一种基于分类任务的 GAN 模型，它使用分类任务的损失函数来替代传统的生成器和判别器的损失函数，从而能够生成更加多样化的样本。 5. BEGAN（Boundary Equilibrium GAN）：BEGAN 是一种基于均衡理论的 GAN 模型，它通过建立生成样本与真实样本的边界来平衡生成器和判别器，从而能够生成高质量的多样化样本。 总之，好的 GAN 损失函数应该具有稳定性、逼真度高、多样性、提高多样性、均衡性等特点，能够训练出高质量的生成模型。上述的这些损失函数都能够有效地提高 GAN 模型的表现。
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

daimashiren

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值