李宏毅2021-GAN学习笔记

最新推荐文章于 2022-12-10 18:38:30 发布

孤舟听雨

最新推荐文章于 2022-12-10 18:38:30 发布

阅读量602

点赞数

文章标签：机器学习

本文链接：https://blog.youkuaiyun.com/u013043762/article/details/115719266

版权

Discriminator $G^*=arg min Div(P_G,P_{data})$

real data sampleed from $P_{data}$ ,
general data sampled from $P_G$

Objective Function For Discriminator

Loss function

这个函数针对Discrimiator 的分类结果计算，越大说明分类效果越好
$E_{y_{\thicksim P_{data}}} [logD(y)]+ E_{y_{\thicksim P_{G}}} [log(1-D(y))]$

objective Function for D

$D^*=arg maxV(D,G)$ ==Training classifier:minimize cross entropy

JS 的缺点

JS divergence 如果两个分布之间没有重叠，公式结果都是 $\log2$
在这里插入图片描述
$\begin{aligned} JS(P_{G_0},{P_{data}}\qquad \qquad &JS(P_{G_0},{P_{data}}\qquad \qquad \qquad &JS(P_{G_{100}},{P_{data}}\\ =\log2\qquad\qquad\quad & = \log2 \qquad & =\log0 \\ W(P_{G_1},P_{data})\qquad\qquad&W(P_{G_1},P_{data})&\qquad W(P_{G_1},P_{data})\\ =d1\qquad\qquad\qquad&=d2&=0 \end{aligned}$
在这里插入图片描述

WGAN

摘自： http://www.twistedwg.com/2018/01/31/WGAN.html

在这里插入图片描述

先要知道的是wasserstein-1 距离是人为定义的对于两个分布Pr和Pg间差异的测量。再来看式子，∏(Pr, Pg)代表对于(x,y)的边缘分布为Pr和Pg的联合分布的集合。我们从这个集合里面任选一个联合分布r，对应这个r联合分布，求出(x,y)服从r这个分布时x，y两个点对于||x-y||的期望值。对于联合分布集合里面所有的联合分布，我们都能求出这样一个期望值，其中最小的那个期望值就是我们要求的wasserstein-1 距离了。
在这里插入图片描述
来源
作者：兴趣使然
链接：https://www.zhihu.com/question/41752299/answer/353764754
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。