GAN的Loss的比较研究（5）——能量Loss

最新推荐文章于 2024-08-24 11:36:16 发布
原创 最新推荐文章于 2024-08-24 11:36:16 发布 · 3.6k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#GAN

本文对比了BEGAN和EBGAN两种基于能量的生成对抗网络，探讨了它们的损失函数差异，并通过实验展示了能量学习在生成图像上的效果。BEGAN利用Auto-Encoder作为Discriminator，EBGAN引入了margin loss。实验结果显示，虽然能量学习不一定总能达到预期，但能直观改善生成结果。

上一篇文章讲的是《BEGAN: Boundary Equilibrium Generative Adversarial Networks》将能量函数（Energy）与Wasserstein Distance相结合，再辅之以比例反馈控制，让GAN迅速收敛，并保持了多样性。具体是：

  • 让Auto-Encoder作为Discriminator，将原图与重建图的逐点差异（pixel-wise error）作为能量。
  • 将D输出的能量看成是一个概率分布，用Wasserstein Distance作为衡量概率分布的距离：真图能量概率分布、假图能量概率分布。

  • 对Wasserstein Distance简化处理，真正衡量的是两个能量分布重心的距离

    由Auto-Encoder重建差异构成的能量作为Discriminator的输出其出处是在《ENERGY-BASED GENERATIVE ADVERSARIAL NETWORKS》中，文中提到EBGAN模型，比较EBGAN与BEGAN差异在哪里呢？
    BEGAN与EBGAN的模型（D-G）是相似的，如图：
    这里写图片描述

    BEGAN的Loss：

    (x)=|x−D(x)|(1)D=(x)−kt⋅(G(zD))(2)G=(G(zG))(
最低0.47元/天 解锁文章
GAN loss
Loy Fan
10-20 772
传统GAN 来源：https://arxiv.org/abs/1406.2661 符号解释 GGG Generator生成器 DDD Discriminator判别器 PdataP_{data}Pdata​ 真实数据分布 PGP_GPG​ 生成器生成数据分布 目标公式 min⁡Gmax⁡DEx∼Pdata[log⁡D(x)]+Ez∼PG[log⁡(1−D(G(z)))]\min _{G} \max...
【GAN】若干常见GAN中的Loss及部分知识
NooahH的博客
05-19 1万+
1. GAN 原始GAN论文[1]中指出，生成器GGG和判别器DDD在进行最小最大博弈。可以用下面的函数表示： min⁡Gmax⁡DV(G,D)=min⁡Gmax⁡DEx∼pdata[log⁡D(x)]+Ez∼pz[log⁡(1−D(G(z)))] \min_{G} \max_{D} V(G, D) = \min_{G} \max_{D} \mathbb{E}_{x \sim p_{data}}[\log D(x)] + \mathbb{E}_{z \sim p_{z}}[\log (1-D(G(z)))]
六种GAN评估指标的综合评估实验，迈向定量评估GAN的重要一步
AcceptedLin的博客
02-18 1万+
   六种GAN评估指标的综合评估实验，迈向定量评估GAN的重要一步 生成对抗网络的评估目前仍以定性评估和一些可靠性较差的指标为主，这阻碍了问题的细化，并具有误导性的风险。本文讨论了多个 GAN 评估指标，并从多个方面对评估指标进行了实验评估，包括 Inception Score、Mode Score、Kernel MMD、Wasserstein 距离、Fréchet Inception Dis...
GAN 中Loss函数精讲
热门推荐
gxiaoyaya的博客
04-28 2万+
GANs有生成器Generator和辨别器Discriminator组成，基本的结构图如下： GANs结构示意图 工作原理 　　我们通常使用两个优化算法来训练GANs。判别器是一个普通的神经网络分类器，训练的过程中，我们使用辨别器 (discriminator) 学习引导生成器。 　　判别器： 　　在训练的过程中，我们向辨别器discriminator输入的数据一...
解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题
09-16
主要介绍了解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
GAN的Loss的比较研究（2）——传统GAN的Loss的理解2
StreamRock的专栏
07-18 2138
判别器（Discriminator）输入一个图片xx\mathbf x
Tensrfow GAN Discriminator 如何使用hinge loss训练
麻花
04-24 4789
hinge loss 核心点：网络的输出要确保是[-1,1]范围 之前一直用cross entrype loss这一点没有台注意，所以之前一直没写对！ hinge loss 核心代码 def Hinge_loss(pos, neg, name='Hinge_loss'): with tf.variable_scope(name): d_loss ...
GAN系列训练出现的生成器loss一直上升，无法收敛的问题
qq_73683939的博客
05-22 4700
DCGAN训练发生了生成器损失不断上升，判别器损失趋于0的严重情况，永不收敛，本文提供了自己的解决方案。
A Multi-Class Hinge Loss for Conditional GANs
weixin_37958272的博客
05-25 617
A Multi-Class Hinge Loss for Conditional GANs 我们提出了一种新的算法，通过常用的Hinge损失的多级泛化，将类条件信息纳入GANs的critic，该算法与监督和半监督环境兼容。我们研究了同时训练最先进的生成器和准确的分类器之间的折衷。我们展示了生成器-critic对尊重类条件输入和生成最高质量的图像之间的权衡。通过我们的multi-hinge lossmulti-hinge loss修改，我们能够改善Imagenet数据集上的Inception得分和Freche
理解原始Gan Loss 和 Hinge Gan Loss
daimashiren的博客
03-04 6887
原始Gan Loss minG maxD V(D,G)=Ex∼Pdata[log D(x)]+Ez∼Pz (Z)[log(1−D(G(Z)))] \mathop{min}\limits_{G}\space \mathop{max}\limits_{D}\space V(D,G) = E_{x\sim P_{data}}[log\space D(x)] + E_{z \sim P_z \space (Z)}[log(1-D(G(Z)))] Gmin​ Dmax
gan判别器的loss接近零_GAN——随笔记录
weixin_36084095的博客
01-09 3722
WGAN & WGAN-GP:1.资料参考：互怼的艺术：从零直达WGAN-GP - 科学空间|Scientific Spaces​kexue.fm郑华滨：令人拍案叫绝的Wasserstein GAN​zhuanlan.zhihu.com2.code参考：https://github.com/bojone/gan/blob/master/mnist_gangp.py​github.com3....
【原理理解&代码实现】GANLoss之‘vanilla‘, ‘lsgan‘, ‘wgan‘, ‘hinge‘的计算方式及代码实现
热爱生活、热爱技术、热爱记录~
06-26 4379
由于在实际使用中遇到了多种形式的GANLoss，就整理了以下常用的四种GANLoss在应用中的区别，包括'vanilla', 'lsgan', 'wgan', 'hinge'。
超分中的GAN总结：常用的判别器类型和GAN loss类型
BigerBang的博客
08-24 2421
总结了GAN在图像超分辨率中的应用，包括常用的判别器类型：经典的分类网络、patch gan和unet和GAN loss类型: gan、wgan、lsgan、ragan
GAN训练中的挑战和常见问题有哪些，如模式崩溃和模式坍塌等？
huidhsu的博客
07-11 5034
生成对抗网络（GAN）是一种强大的深度学习模型，用于生成逼真的数据样本。然而，GAN的训练过程中面临一些挑战和常见问题，其中包括模式崩溃和模式坍塌。本文将介绍这些问题以及可能的解决方法。GAN训练中的挑战和常见问题有哪些？
[GAN学习笔记] 基础GAN（三）——WGAN
m0_55905751的博客
03-05 1683
PaperNotes(7)-GANs模式坍塌、训练不稳定 相关论文
sinat_40624829的博客
11-05 1592
A distributional perspective on reinforcement learningabstract1.Introduction2.setting2.1. Bellman's Equations3.The Distributional Bellman Operators3.1 Distributional Equations3.2. The Wasserstein Metric3.3. Policy Evaluation3.3.1. CONTRACTION IN dp3.3.2. C
GAN网络的模型坍塌和不稳定的分析
xinxiang7
07-07 8067
众所周知，GAN异常强大，同时也非常难以训练。主要有以下亮点原因： 模型坍塌(mode collapse) 难以收敛和训练不稳定(convergence and instability) GAN网络的一般表达式可以表示为： 利用minmax获得公式 给定G，求D的最优化 针对D进行求导： 获取最优解： 最优解结果： KL和JS散度表达式： GAN表达式： 增加一项，表示生成网络G的损失函数： 简化： 结合公式(6)和公式(8)可以得出： 公式(12)中的KL散度使得两个分布尽可能的小
GAN_1——基础知识
A-Egoist的博客
09-22 1537
1 GAN浅析 GAN主要由两个网络组成，一个是生成网络G(Generator)，另一个是判别网络D(Discriminator)。 以图片生成为例： G是一个生成图片的网络，它的输入是一个随机噪声z，通过这个噪声生成的图片记作G(z) D是一个判别网络，它可以判别一张图片是不是真实的。它的输入是x，x表示一张图片；输出是D(x)，表示图片x是真实图片的概率，如果为1，则表示这张图片是真实的概率为100%，如果为0，则表示这张图片是真实的概率为0% 在训练过程中，G的目标就是尽量生成真实的图片去欺骗判别
GAN 的Mode collapse(模式坍塌)
10-24 1万+
mode collapse是指Gan产生的样本单一，其认为满足某一分布的结果为true，其他为False，导致以上结果。 Example 先给一个直观的例子，这个是在我们训练GAN的时候经常出现的 这就是所谓的Mode Collapse 但是实际中ModeCollapse不能像这个一样这么容易被发现(sample中出现完全一模一样的图片) 例如训练集有很多种类别(如猫狗牛羊)，但是我...
GAN的loss权重如何设置
最新发布
12-29
### 如何设置GAN中损失函数的权重 在生成对抗网络（GANs）的设计过程中，合理配置不同组成部分的损失函数及其对应的权重对于模型性能至关重要。具体而言，在改进WGAN的过程中发现，不当降低权重可能导致优化难题...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值