【f-GAN】f-GAN：Training Generative Neural Samplers using Variational Divergence Minimization

最新推荐文章于 2024-01-07 02:04:48 发布
原创 最新推荐文章于 2024-01-07 02:04:48 发布 · 1.4k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了使用f-Divergence来衡量两个概率分布之间的差异，并详细解释了如何通过特定的函数形式将其应用于生成对抗网络（GAN）中，特别是在损失函数的设计上。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. f-divergence

用f-divergence来衡量两个分布得不同
这里写图片描述
不同的f(x)对应不同的divergence
这里写图片描述
用f(x)得Fenchel Conjugate将f(x)表示出来再带入D
令D(x)代替t，即输入为x输出为t=D(x),得到初始的f-divergence，此时是f-divergence得lower bound
这里写图片描述
接下来就是要找一个最好的D，来近似f-divergence
最后找一个G，使得f-divergence最小
这里写图片描述
各种不同得f(x)得到的divergence这里写图片描述
这里写图片描述

那么如何变成原始的GAN呢？

令D得输出激活函数为sigmoid函数，之后取log就得到原始GAN得loss fuction的第一项：
这里写图片描述
对应于第一个表格得倒数第二行和第二个表格的倒数第三行。他这里只不过用的是负对数

然后将f*(t)中的t用gf代替就得到原始GAN得loss fuction的第二项：
这里写图片描述

zhangbin0917
关注
f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization 论文笔记
月夜长影
11-30 612
未完成
GAN汇总
简简单单
12-26 3192
3D-ED-GAN - Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks 3D-GAN - Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial...
f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization
qq_42192910的博客
05-27 815
fff-GAN: Training Generative Neural Samplers using Variational Divergence Minimization Paper:http://papers.nips.cc/paper/6066-f-gan-training-generative-neural-samplers-using-variational-divergence-min...
ICCV 2017：训练GAN的16个技巧，2400+星（PPT）
人工智能
10-29 1万+
作者：Soumith Chintala等 编译：马文 【新智元导读】本文来自ICCV 2017的Talk：如何训练GAN，FAIR的研究员Soumith Chintala总结了训练GAN的16个技巧，例如输入的规范化，修改损失函数，生成器用Adam优化，使用Sofy和Noisy标签，等等。这是NIPS 2016的Soumith Chintala作的邀请演讲的修改版本，而2016年的
f-GAN
weixin_30271335的博客
02-27 206
学习总结于国立台湾大学 ：李宏毅老师 f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization 本文Outline 一句话介绍f-GAN: you can use any f-divergence 一. 回顾GAN的basic idea： 我们想要machine...
GAN training
weixin_43698821的博客
03-12 210
http://blog.otoro.net/2016/04/01/generating-large-images-from-latent-vectors/ Like a real counterfeit painter, G has a much tougher job compared to D. Creating content is hard, and even with the error...
生成对抗网络GANs（笔记一）主线
qq_21210467的博客
08-19 1万+
生成式对抗网络（Generative Adversarial Nets, GAN） 一、发展历程： 最开始接触GANs是因为想了解有关于在少量数据的情况下如何做数据增广。然后就了解到了DCGAN生成手写数字的案例，简直是惊为天人，然今才逐渐开始了解生成对抗网络的思想。到了后来一直想用生成对抗网络的思想做语音识别和语音合成这一方面，一直找到合适的资料。再后来，鬼使神差的想结合GANs来做毕业论文...
【生成对抗网络】GAN生成对抗网络理论知识
学习笔记
12-28 1761
【生成对抗网络】GAN生成对抗网络理论知识
【Learning Notes】生成式对抗网络（Generative Adversarial Networks，GAN）
丁丁的博客
03-14 9218
简单介绍各种生成式对抗网络（GAN）
2017 如何训练一个GAN网络
g11d111的博客
04-08 4984
GAN, 作为一种非常厉害的生成模型, 在近年来得到了广泛的应用. Soumith, PyTorch之父, 毕业于纽约大学的Facebook的VP, 在2015年发明了DCGAN: Deep Convolutional GAN. 它显式的使用卷积和转置卷积在判别器和生成器中使用. 他对GAN的理解相对深入, 特地总结了关于训练GAN的一些技巧和方式, 因为不同于一般任务, 像设置优化器, 计算l...
【预训练GAN】Ensembling Off-the-shelf Models for GAN Training（GAN模型迎来预训练时代，仅需1%的训练样本）
Drug discovery
10-01 1583
Ensembling Off-the-shelf Models for GAN Training（GAN模型迎来预训练时代，仅需1%的训练样本）
阅读小结：Improved Techniques for training GANS
郑哲东的博客
09-02 9406
github地址：https://github.com/openai/improved-gan/ What: 提出了对于GANs新的结构和训练过程。主要focus在两个应用：半监督学习 和  更好的图像产生。 对于G，不要求一个和test data和像的模型，也不要求不使用label。 实验中，D在半监督分类任务上达到了state-of-art的结果。 G在MNIST样本人已经无
F-散度(F-divergence)
热门推荐
UESTC_C2_403的博客
07-16 1万+
在概率统计中，f散度是一个函数，这个函数用来衡量两个概率密度p和q的区别，也就是衡量这两个分布多么的相同。 1.f散度的定义 p和q是同一个空间中的两个概率密度函数，它们之间的f散度可以用如下方程表示： f函数满足两个条件：f函数是一个凸函数，并且f(1)=0。 2.f散度的特例 如果f(x)=xlogx，那就是KL散度。如果是f(x)=-logx，那就表示reverse KL散
实现高效的GAN训练：优化策略与技巧
最新发布
AI天才研究院
01-07 1321
1.背景介绍 GAN(Generative Adversarial Networks，生成对抗网络)是一种深度学习模型，它通过两个相互对抗的神经网络来学习数据的分布。这两个网络分别称为生成器(Generator)和判别器(Discriminator)。生成器的目标是生成逼真的假数据，而判别器的目标是区分真实数据和生成器产生的假数据。GAN在图像生成、图像补充、图像翻译等方面取得了显著的成果。 ...
KL divergence JS divergence F divergence
qq_40212975的博客
06-21 968
KL散度： 衡量两个概率分布之间差异的指标 又称kl距离 ，相对熵 D(P∥Q)=∑P(x)log⁡P(x)Q(x) \mathrm{D}(\mathrm{P} \| \mathrm{Q})=\sum P(x) \log \frac{P(x)}{Q(x)} D(P∥Q)=∑P(x)logQ(x)P(x)​ 当P(X) 和Q(X)的相似度概率越高， KL越小 KL散度主要有两个性质 (1)不对称...
机器学习中的数学——距离定义（二十四）：F-散度（F-Divergence）
冯·诺依曼
01-09 1万+
F-散度（F-Divergence）是KL散度的一个推广： DF(p∣∣q)=∫q(x)f(p(x)q(x))D_F(p||q)=\int q(x)f(\frac{p(x)}{q(x)})DF​(p∣∣q)=∫q(x)f(q(x)p(x)​) 其中，函数f(x)f(x)f(x)需要满足下列2个性质： f(x)f(x)f(x)是一个凸函数 f(1)f(1)f(1)=0 若f(x)=xlog⁡xf(x)=x\log{x}f(x)=xlogx，则F-散度退化为KL散度；若f(x)=−log⁡xf(x)=-\l
[解读] Multi-objective training of Generative Adversarial Networks with multiple discriminators
天在那边
05-22 834
本文研究了多目标优化问题, 即通过使用多个鉴别器来提升生成样本的质量, 提出一种超体积最大化方法来进行训练, 这个优化方法在训练速度和生成样本质量之间达到了较好的权衡. 论文链接: https://arxiv.org/abs/1901.08680v1 相关工作 在最近的研究中已经进行了大量的研究来克服 GAN 框架内的不稳定性, 诸如 BEGAN (Berthelot et al., 2017) 之类的一些架构已将自动编码器用作鉴别器, 并提出了新的损失函数以帮助稳定训练. 诸如 TTUR (Heusel
GAN|生成对抗网络的前沿进展（论文、框架&资源）全面总结
05-03 2843
成模型（GenerativeModel）是一种可以通过学习训练样本来产生更多类似样本的模型。在所有生成模型当中，最具潜力的是生成对抗网络（Generative Adversarial Networks, GANs）。GANs 是非监督机器学习的一种，它的运作方式可被看做是两个神经网络相互竞争的零和游戏（zero-sum game）。 2014年，Ian Goodfello
解读GAN及其 2016 年度进展
omnispace的博客
02-08 1万+
作者：程程 链接：https://zhuanlan.zhihu.com/p/25000523 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 摘要 本文主要包括两方面内容：首先对GAN的基础概念与理论基础进行介绍，并分析了其模型构建原理与优势等；其次对其在2016年度的主要进展进行梳理和概括，主要包括从模型理论框架到实际应用问题中的相关扩展与改进及其
CR-GAN技术：实现多视图生成的完整表示学习
**CR-GAN（Complete Representations Generative Adversarial Networks）**是一种深度学习模型，其核心目标是学习多视图数据的完整表示。CR-GAN涉及生成对抗网络（GAN）的思想，其包含两个关键部分：生成器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值