区别VAN与GAN，LSGAN、WGAN、WGAN-GP、CGAN

最新推荐文章于 2023-12-18 11:10:58 发布
最新推荐文章于 2023-12-18 11:10:58 发布
阅读量2.8k 收藏 5
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度学习项目 文章标签： 生成式对抗网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chenjuan1993/article/details/86713324
这篇博客对比了VAE和GAN在图像生成上的差异，指出GAN在生成清晰图像方面的优势。接着详细介绍了LSGAN、WGAN、WGAN-GP和CGAN等GAN的改进算法，探讨了它们如何解决GAN训练的稳定性和生成样本多样性的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

训练”稳定”，样本的”多样性”和”清晰度”似乎是GAN的 3大指标 — David 9

VAE与GAN

聊到随机样本生成, 不得不提VAE与GAN, VAE用KL-divergence和encoder-decoder的方式逼近真实分布. 但这些年GAN因其”端到端”灵活性和隐式的目标函数得到广泛青睐. 而且, GAN更倾向于生成清晰的图像:

VAE与GAN生成对比

GAN在10次Epoch后就可以生成较清晰的样本, 而VAE的生成样本依旧比较模糊. 所以GAN大盘点前, 我们先比较一下VAE与GAN的结构差别:

VAE与GAN结构比较

VAE训练完全依靠一个假设的loss函数和

最低0.47元/天 解锁文章

200万优质内容无限畅学
GAN：WGAN-GP-带有梯度惩罚的WGAN
微风❤水墨
12-01 4304
WGAN-GP中移除了判别器中的BN操作： 因为WGAN-gp的惩罚项计算中，惩罚的是单个数据的gradient norm，如果使用 batchNorm，就会扰乱这种惩罚，让这种特别的惩罚失效。所以只有设置的不大不小，比如c=0.01（wgan作者推荐的数值），下图中的紫色线，梯度保持相对合理，才能让生成器获得不错的回传梯度。公式在下面， 里面表达的是它在WGAN的loss上加了一个惩罚项，如果判别器的 gradient 的 norm，离 1 越远，那么 loss 的惩罚力度越高。作者发现移除后效果很好。
WGAN的改进点和实操
li123128的博客
07-26 1768
　　包含三部分：1、WGAN改进点 2、代码修改 3、训练心得 　　 　　一、WGAN的改进部分： 　　 　　判别器最后一层去掉sigmoid （相当于最后一层做了一个y = x的激活） 　　 　　生成器和判别器的loss不取log 　　 　　每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数c 　　 　　不要用基于动量的优化算法（包括momentum和Adam），推荐RMS...
DCGAN、WGAN、WGAN-GP、LSGAN、BEGAN原理总结及对比
djph26741的博客
06-11 435
DCGAN、WGAN、WGAN-GP、LSGAN、BEGAN原理总结及对比 from：https://blog.youkuaiyun.com/qq_25737169/article/details/78857788 GAN系列学习(2)——前生今世 本文已投稿至微信公众号--机器学习算法工程师，欢迎关注 1 2 本文是GAN系列学习–前...
深度学习_GAN_WGAN与WGAN-GP
欢迎大家关注我
12-10 3650
一.原始GAN存在的训练崩溃问题 所谓GAN的训练崩溃，指的是训练过程中，生成器和判别器存在一方压倒另一方的情况。 GAN原始判别器的Loss在判别器达到最优的时候，等价于最小化生成分布与真实分布之间的JS散度，由于随机生成分布很难与真实分布有不可忽略的重叠以及JS散度突变特性，使得生成器面临梯度消失的问题；可是如果不把判别器训练到最优，那么生成器优化的目标也就失去了意义。因此需要我们小心的平衡二...
LSGAN（最小乘二GAN）：具有WGAN同样效果的GAN
新手的博客
05-15 1903
  前面已经介绍GAN是以对抗的形式逼近概率分布。但直接使用该方法，对随着判别器越来越好而生成器无法与其对抗，进行形成梯度消失的问题。WGAN和LSGAN都是试图使用不同的距离度量，从而构建一个不仅稳定，同时还能快速收敛的生成对抗网络。 1. LSGAN介绍   WGAN使用的是Wasserstein理论来构建度量距离。而LSGAN使用另一种方法，使用更加平滑和非饱和梯度的损失函数——最小乘二来代替原来的Sigmod交叉熵。这是由于L2正则独有的特性，在数据偏离目标时会有一个与其偏离距离成比例的惩罚，再将其
【GAN】GANLoss之‘vanilla‘, ‘lsgan‘, ‘wgan‘, ‘hinge‘的具体计算方式及实现
一个CV小白的博客
06-26 3959
由于在实际使用中遇到了多种形式的GANLoss，就整理了以下常用的四种GANLoss在应用中的区别，包括'vanilla', 'lsgan', 'wgan', 'hinge'。
GAN系列学习(2)——前生今世
学习AI算法，请关注微信公众号：机器学习算法全栈工程师……
12-17 2886
作者：刘威威编辑：李文臣       本文是GAN系列学习--前世今生第二篇，在第一篇中主要介绍了GAN的原理部分，在此篇文章中，主要总结了常用的GAN包括DCGAN,WGAN,WGAN-GP,LSGAN-BEGAN的详细原理介绍以及他们对GAN的主要改进，并推荐了一些Github代码复现链接。       本文旨在对GAN的变种做一些梳理工作，详细请看下文。31.DCGAN【Paper】 ：
GAN、WGAN、WGAN-GP5.docx
06-15
生成对抗网络（GAN）和其变种（WGAN、WGAN-GP）基于PyTorch实现和实验报告 生成对抗网络（GAN）是一种深度学习模型，通过生成和判别两个网络模块，相互竞争和学习，生成逼真的数据。GAN由Goodfellow等人在2014年...
DCGAN-LSGAN-WGAN-GP-DRAGAN-Tensorflow-2：DCGAN LSGAN WGAN-GP DRAGAN Tensorflow 2
02-06
建议 ... WGAN-GP 德拉甘 名人 DCGAN LSGAN WGAN-GP 德拉甘 日本动漫 WGAN-GP 德拉甘 用法 环境 Python 3.6 TensorFlow 2.2，TensorFlow插件0.10.0 OpenCV，scikit映像，tqdm，oyaml 我们建议
GAN、WGAN、WGAN-GP.rar
06-15
基于PyTorch实现生成对抗网络 拟合给定分布 要求可视化训练过程 实验报告 对比GAN、WGAN、WGAN-GP（稳定性、性能） 对比不同优化器的影响
比 WGAN 更好的 WGAN-GP
最新发布
U R MINE
12-18 416
这个约束的意思是：critic 相对于原始输入的梯度的 L2 范数要约束在1附近（双边约束）（原文作者给了一个命题：在最优的优化路径上（把生成分布推向真实分布的“道路”上），critic函数对其输入的梯度值恒定为1）原因在于：WGAN采用了权重修剪（weight clipping）策略来强行满足critic上的Lipschitz（利普希茨）连续的约束（“Lipschitz 连续”，意思就是定义域内每点的梯度恒定不超过某个常数（常数是多少无所谓，不是无穷就行）。训练不稳定是GAN常见的一个问题。
【Pytorch神经网络理论篇】 23 对抗神经网络：概述流程 + WGAN模型 + WGAN-gp模型 + 条件GAN + WGAN-div + W散度
小李的研究生学习日记
03-24 1万+
1 对抗神经简介 1.1 对抗神经网络的基本组成 1.1.1 基本构成 对抗神经网络（即生成式对抗网络，GAN)一般由两个模型组成： 生成器模型(generator):用于合成与真实样本相差无几的模拟样本。 判别器模型(discriminator）:用于判断某个样本是来自真实世界还是模拟生成的。 1.1.2 不同模型的在GAN中的主要作用 生成器模型的目的是，让判别器模型将合成样本当成直实样本。 判别器模的目的是，将合成样本与真实样本区分开。 1.1.3 独立任务 若将两个模型放在一起同
wgan 不理解 损失函数_【GAN-8】WGAN-Gradient Penalty
weixin_42517607的博客
01-03 1848
论文Improved Training of Wasserstein GANs​xxx.itp.ac.cn我们之前说了，WGAN的（启发式的）保证函数 的方法是让 的参数 满足这一看就是很扯淡的方法，这篇文章则是对这个的改进。先说说有什么问题。在GAN-GP这篇论文中，作者给出了WGAN的两个主要缺点，同时用了一个toy example说明这些问题。作者发现不仅是原文中的直接对 clip，...
最小二乘GAN：比常规GAN更稳定，比WGAN收敛更迅速
12-18 2804
LSGANs基本思想 LSGANs的英文全称是Least Squares GANs。这篇文章针对的是标准GAN生成的图片质量不高以及训练过程不稳定这两个缺陷进行改进。改进方法就是将GAN的目标函数由交叉熵损失换成最小二乘损失，而且这一个改变同时解决了两个缺陷。 为什么最小二乘损失可以提高生成图片质量？  我们知道，GANs包含两个部分：判别器和生成器。判别器用于判断一张图片是来自真实
CGAN理论讲解及代码实现
weixin_51781852的博客
08-07 6963
CGAN生成的图像虽然有很多缺陷，譬如图像边缘模糊，生成的图像分辨率太低，但是它为后面的pix2pixGAN和CycleGAN开拓了道路，这两个模型转换图像网络时对属性特征的处理方法均受到CGAN启发。针对原始GAN不能生成具有特定属性的图片的问题，Mehdi Mirza等人提出了CGAN，其核心在于将属性信息y融入生成器和判别器中，属性y可以是任何标签的信息，例如图像的类别，人脸图像的面部表情等。生成的图像是随机的，不可预测的，无法控制网络输出特定的图片，生成目标不明确，可控性不强。...
GANs系列：CGAN(条件GAN）原理简介以及项目代码实现
l love CV
04-05 3万+
cGAN的中心思想是希望 可以控制 GAN 生成的图片，而不 是单纯的随机生成图片。 具体来说，Conditional GAN 在生成器和判别器的输入中 增加了额外的 条件信息，生成器生成的图片只有足够真实 且与条件相符，才能够通过判别器。
GAN ZOO - 第1节： 分析GAN的缺陷与改进方向，介绍典型的改进模型：CGAN、InfoGAN
manquyuan0078的博客
01-14 3460
  0. “GAN ZOO”系列文章开更说明     GAN到底有多“热”？     据统计，GAN的相关论文正在以指数趋势增长，如上图所示。     But，     GAN论文这么多，而且都是英文的，怎么可能读得完！     为此，“AI微刊”团队将推出“GAN ZOO”系列文章，精选典型GAN模型（没有水论文），对其进行精简的解析，让你“三分钟”读完一篇论文。     适合...
GAN论文阅读——CGAN
热门推荐
小白的笔记本
02-25 3万+
CGAN提出了一种带条件约束的GAN，在生成模型（D）和判别模型（G）的建模中均引入条件变量y（conditional variable y），使用额外信息y对模型增加条件，可以指导数据生成过程。
生成对抗网络——cgan
gm_Ergou的博客
07-06 1598
GAN： 生成对抗网络（Generative Adversarial Networks [4]）主要由生成器 (generator) 和判别器 (discriminator)组成。它的原理也比较清晰，generator 负责输入随机噪声z，输出一个图片 G(z) ，而真实样本x，判别器 D 则用尽全力希望把真实样本和虚假样本区分开来。而 G 则希望产生的 G(z) 以假乱真，欺骗判别器，让其判断不出来。从而有了这么一种对抗的关系。 gan的缺点： 1.不适合处理离散形式的数据 例如——文本 2....
PyTorch实现的GAN、WGAN及WGAN-GP性能对比分析
资源摘要信息:"GAN、WGAN、WGAN-GP" 生成对抗网络（GAN）是一种深度学习架构，由两部分组成：生成器（Generator）和判别器（Discriminator）。生成器生成数据，判别器评估数据。生成器的目标是生成足够真实的样本以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值