概率密度比
概率密度比是生成模型的重要组成部分，无论是在VAEs的情况下显式的（比如两个高斯分布之间的KL散度），还是在GANs的情况下隐式的。即我们在计算两个分布之间的KL散度（比如 p g p_{g} pg与 p d a t a p_{data} pdata之间的KL散度），这通常归结为计算两个概率分布对数的样本平均值。
以VAE举例，VAE的ELBO是：
E L B O = E q ( z ∣ x ) [ l o g p ( x ∣ z ) ] − K L [ q ( z ∣ x ) ∣ ∣ p ( z ) ] = E q ( z ∣ x ) [ l o g p ( x ∣ z ) ] − E q ( z ∣ x ) [ l o g q ( z ∣ x ) p ( z ) ] \begin{aligned} ELBO = & E_{q(z|x)}[logp(x|z)]-KL[q(z|x)||p(z)] \\ = & E_{q(z|x)}[logp(x|z)]-E_{q(z|x)}[log{q(z|x) \over p(z)}] \end{aligned} ELBO==Eq(z∣x)[logp(x∣z)]−KL[q(z∣x)∣∣p(z)]Eq(z∣x)[logp(x∣z)]−Eq(z∣x)[logp(z)q(z∣x)]
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
