GAN的Loss的比较研究（5）——能量Loss

最新推荐文章于 2024-05-22 22:47:23 发布
最新推荐文章于 2024-05-22 22:47:23 发布
阅读量3.5k 收藏 5
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习与神经网络 文章标签： GAN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/StreamRock/article/details/81192408
本文对比了BEGAN和EBGAN两种基于能量的生成对抗网络，探讨了它们的损失函数差异，并通过实验展示了能量学习在生成图像上的效果。BEGAN利用Auto-Encoder作为Discriminator，EBGAN引入了margin loss。实验结果显示，虽然能量学习不一定总能达到预期，但能直观改善生成结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

上一篇文章讲的是《BEGAN: Boundary Equilibrium Generative Adversarial Networks》将能量函数（Energy）与Wasserstein Distance相结合，再辅之以比例反馈控制，让GAN迅速收敛，并保持了多样性。具体是：

  • 让Auto-Encoder作为Discriminator，将原图与重建图的逐点差异（pixel-wise error）作为能量。
  • 将D输出的能量看成是一个概率分布，用Wasserstein Distance作为衡量概率分布的距离：真图能量概率分布、假图能量概率分布。

  • 对Wasserstein Distance简化处理，真正衡量的是两个能量分布重心的距离

    由Auto-Encoder重建差异构成的能量作为Discriminator的输出其出处是在《ENERGY-BASED GENERATIVE ADVERSARIAL NETWORKS》中，文中提到EBGAN模型，比较EBGAN与BEGAN差异在哪里呢？
    BEGAN与EBGAN的模型（D-G）是相似的，如图：
    这里写图片描述

    BEGAN的Loss：

    (x)=|x−D(x)|(1)D=(x)−kt⋅(G(zD))(2)G=(G(zG))(
最低0.47元/天 解锁文章

200万优质内容无限畅学
AIGC实战——能量模型(Energy-Based Model)
盼小辉丶的博客
02-18 8767
能量模型 (Energy-based Model, EBM) 是一类常见的生成模型，其借鉴了物理系统建模的一个关键思想，即事件的概率可以用玻尔兹曼分布来表示。玻尔兹曼分布是一种将实值能量函数归一化到 0 和 1 之间的函数，该分布最早由 Ludwig Boltzmann 于 1868 年提出，用于描述处于热平衡状态的气体系统。在本节中，我们将利用这一思想来训练一个生成模型，用于生成 MNIST 手写数字的图像。
GAN loss
Loy Fan
10-20 733
传统GAN 来源：https://arxiv.org/abs/1406.2661 符号解释 GGG Generator生成器 DDD Discriminator判别器 PdataP_{data}Pdata​ 真实数据分布 PGP_GPG​ 生成器生成数据分布 目标公式 min⁡Gmax⁡DEx∼Pdata[log⁡D(x)]+Ez∼PG[log⁡(1−D(G(z)))]\min _{G} \max...
六种GAN评估指标的综合评估实验，迈向定量评估GAN的重要一步
AcceptedLin的博客
02-18 1万+
   六种GAN评估指标的综合评估实验，迈向定量评估GAN的重要一步 生成对抗网络的评估目前仍以定性评估和一些可靠性较差的指标为主，这阻碍了问题的细化，并具有误导性的风险。本文讨论了多个 GAN 评估指标，并从多个方面对评估指标进行了实验评估，包括 Inception Score、Mode Score、Kernel MMD、Wasserstein 距离、Fréchet Inception Dis...
GAN 中Loss函数精讲
gxiaoyaya的博客
04-28 2万+
GANs有生成器Generator和辨别器Discriminator组成，基本的结构图如下： GANs结构示意图 工作原理 　　我们通常使用两个优化算法来训练GANs。判别器是一个普通的神经网络分类器，训练的过程中，我们使用辨别器 (discriminator) 学习引导生成器。 　　判别器： 　　在训练的过程中，我们向辨别器discriminator输入的数据一...
【GAN】若干常见GAN中的Loss及部分知识
NooahH的博客
05-19 1万+
1. GAN 原始GAN论文[1]中指出，生成器GGG和判别器DDD在进行最小最大博弈。可以用下面的函数表示： min⁡Gmax⁡DV(G,D)=min⁡Gmax⁡DEx∼pdata[log⁡D(x)]+Ez∼pz[log⁡(1−D(G(z)))] \min_{G} \max_{D} V(G, D) = \min_{G} \max_{D} \mathbb{E}_{x \sim p_{data}}[\log D(x)] + \mathbb{E}_{z \sim p_{z}}[\log (1-D(G(z)))]
解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题
09-16
主要介绍了解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
GAN的Loss的比较研究（1）——传统GAN的Loss的理解1
热门推荐
StreamRock的专栏
07-18 4万+
GAN(Generative Adversarial Network)由两个网络组成：Generator网络（生成网络，简称G）、Discriminator网络（判别网络，简称D)，如图： 图1 GAN概念图 因而有两个Loss：Loss_D（判别网络损失函数）、Loss_G（生成网络损失函数）。 Loss_D只有两个分类，Real image判为1，Fake image（由G生成）判为...
GAN的Loss的比较研究（3）——Wasserstein Loss理解（1）
StreamRock的专栏
07-21 1万+
前两篇文章讨论了传统GAN的Loss，该Loss有些不足的地方，导致了GAN的训练十分困难，表现为：1、模式坍塌，即生成样本的多样性不足；2、不稳定，收敛不了。Martin Arjovsky在《Towards principled methods for training generative adversarial networks》、《Wasserstein GAN》文章中，对传统Loss造成...
GAN的Loss的比较研究（4）——Wasserstein Loss理解（2）
StreamRock的专栏
07-23 5832
关于Wasserstein Distance的计算，似乎还有一个简单一点的计算方法，在《BEGAN: Boundary Equilibrium Generative Adversarial Networks》中给出了一个推导的过程： Wasserstein Distance的定义式如下： W(ℙr,ℙg)=infγ∈Π(ℙr,ℙg)E(x,y)∼γ[‖x−y‖](1)W(Pr,Pg)=infγ...
GAN的Loss的比较研究（2）——传统GAN的Loss的理解2
StreamRock的专栏
07-18 2103
判别器（Discriminator）输入一个图片xx\mathbf x
Tensrfow GAN Discriminator 如何使用hinge loss训练
麻花
04-24 4726
hinge loss 核心点：网络的输出要确保是[-1,1]范围 之前一直用cross entrype loss这一点没有台注意，所以之前一直没写对！ hinge loss 核心代码 def Hinge_loss(pos, neg, name='Hinge_loss'): with tf.variable_scope(name): d_loss ...
GAN系列训练出现的生成器loss一直上升，无法收敛的问题
qq_73683939的博客
05-22 4095
DCGAN训练发生了生成器损失不断上升，判别器损失趋于0的严重情况，永不收敛，本文提供了自己的解决方案。
A Multi-Class Hinge Loss for Conditional GANs
weixin_37958272的博客
05-25 577
A Multi-Class Hinge Loss for Conditional GANs 我们提出了一种新的算法，通过常用的Hinge损失的多级泛化，将类条件信息纳入GANs的critic，该算法与监督和半监督环境兼容。我们研究了同时训练最先进的生成器和准确的分类器之间的折衷。我们展示了生成器-critic对尊重类条件输入和生成最高质量的图像之间的权衡。通过我们的multi-hinge lossmulti-hinge loss修改，我们能够改善Imagenet数据集上的Inception得分和Freche
理解原始Gan Loss 和 Hinge Gan Loss
daimashiren的博客
03-04 6507
原始Gan Loss minG maxD V(D,G)=Ex∼Pdata[log D(x)]+Ez∼Pz (Z)[log(1−D(G(Z)))] \mathop{min}\limits_{G}\space \mathop{max}\limits_{D}\space V(D,G) = E_{x\sim P_{data}}[log\space D(x)] + E_{z \sim P_z \space (Z)}[log(1-D(G(Z)))] Gmin​ Dmax
gan判别器的loss接近零_GAN——随笔记录
weixin_36084095的博客
01-09 3686
WGAN & WGAN-GP:1.资料参考：互怼的艺术：从零直达WGAN-GP - 科学空间|Scientific Spaces​kexue.fm郑华滨：令人拍案叫绝的Wasserstein GAN​zhuanlan.zhihu.com2.code参考：https://github.com/bojone/gan/blob/master/mnist_gangp.py​github.com3....
【GAN】GANLoss之‘vanilla‘, ‘lsgan‘, ‘wgan‘, ‘hinge‘的具体计算方式及实现
一个CV小白的博客
06-26 3906
由于在实际使用中遇到了多种形式的GANLoss，就整理了以下常用的四种GANLoss在应用中的区别，包括'vanilla', 'lsgan', 'wgan', 'hinge'。
（具体解决方案）训练GAN深度学习的时候出现生成器loss一直上升但判别器loss趋于0
陶小桃Blog
08-04 7199
当然，需要明确的是，GAN的效果如何，其实是很主观的事情，也许和loss表现的趋势没啥太大的关系，也许在loss表现不对劲的情况下也能生成效果好的图片。今天小陶在训练CGAN的时候出现了绷不住的情况，那就是G_loss（生成器的loss值）一路狂飙，一直上升到了6才逐渐平稳。而D_loss（判别器的loss值）却越来越小，具体的情况就看下面的图...训练里是非常容易遇到的问题，所以不用慌，是有解决的办法的。的loss值）却越来越小，具体的情况就看下面的图片吧。的时候出现了绷不住的情况，那就是G_loss（
GAN: 原始损失函数详解
ch_shijie的博客
03-13 3465
GAN损失函数详解（转载）
GAN的Loss为什么降不下去
Jiashilin
05-16 3万+
为什么GAN的Loss一直降不下去。GAN到底什么时候才算收敛？其实，作为一个训练良好的GAN，其Loss就是降不下去的。衡量GAN是否训练好了，只能由人肉眼去看生成的图片质量是否好。不过，对于没有一个很好的评价是否收敛指标的问题，也有许多学者做了一些研究，后文提及的WGAN就提出了一种新的Loss设计方式，较好的解决了难以判断收敛性的问题。下面我们分析一下GAN的Loss为什么降不下去？​ 生...
GAN的loss权重如何设置
最新发布
12-29
### 如何设置GAN中损失函数的权重 在生成对抗网络（GANs）的设计过程中，合理配置不同组成部分的损失函数及其对应的权重对于模型性能至关重要。具体而言，在改进WGAN的过程中发现，不当降低权重可能导致优化难题以及梯度爆炸或消失等问题[^1]。 为了有效设定GAN损失函数中的各项权重，可以考虑如下策略： #### 将组合损失中的权重设为可学习参数 一种有效的做法是让这些权重成为模型的一部分并由数据驱动自动调整。通过这种方式可以使模型依据实际情况动态调节各部分的重要性程度。例如，在实践中可以通过独立构建针对这部分参数的优化器实现这一目的，并为其指定适当的学习率以确保稳定收敛而不至于引发梯度消失现象[^2]。 ```python self.lr_weight_optimizer = optim.Adam(self.combined_loss.parameters(), lr=1e-4, betas=(0.9, 0.999)) ``` #### 平衡对抗损失与辅助任务损失之间的关系 当涉及到多目标优化场景下（比如CycleGAN），除了基本的对抗损失外还有其他类型的约束条件如循环一致性的存在。此时应当仔细权衡两者间的关系，既保证生成图像能够尽可能逼真又不失原有特征信息。这往往需要经过多次实验找到最优解法[^5]。 #### 避免过早饱和及梯度弥散问题 考虑到深层神经网络中存在的梯度传递困难情况——特别是随着层数增加而加剧的现象，应采取措施缓解此类挑战。一方面可以选择合适的激活函数减少信号衰减风险；另一方面则要谨慎处理初始阶段可能出现的快速下降趋势以免造成后续更新停滞不前的局面[^4]。 综上所述，确定GAN损失函数内各个成分的具体数值并非一成不变而是依赖于特定应用场景下的需求分析和技术手段的选择应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值