f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization 论文笔记

转载自: http://yongfeiyan.cn/post/md/6

摘要

将GAN推广到variational divergence estimation. 讨论不同的f-divergence下如何实现.

介绍

GAN可以看作优化JS距离, JS距离无法直接优化, 可以通过判别器, 近似JS距离.

可以将JS距离推广到一般的f-divergence, 判别器也是去近似相应的距离, 然后更新生成器.

方法

f-divergence族

其中p,q是在测度dx和定义域X上的绝对连续密度函数, f是定义在正半轴的凸的半连续函数, f(1) = 0

f-divergence的变分估计

f-divergence牵涉到积分, 不能直接去计算, 一种方法是利用共轭函数去计算.
一个函数f的Fenchel conjugate f*定义为

得到的f*也是凸的半连续的, 可以再次取共轭, 有f** = f