A Contrastive Divergence for Combining Variational Inference and MCMC论文读后总结

论文名字

A Contrastive Divergence for Combining Variational Inference and MCMC
变分推断与mcmc结合的对比散度

Contrastive Divergence

CD(Contrastive Divergence)是log-likelihood gradient的近似算法，同时是a successful update rule for training RBMs，用于训练RBM。

马尔可夫链蒙特卡罗（mcmc）

变分推断（vi）

论文内容介绍

该论文利用马尔可夫链-蒙特卡罗方法（mcmc）和变分推断（vi）的优点，提出了一种将两者结合的方法。
变分的缺陷在于，近似的效果不是很好
但是，MCMC只要马尔科夫链长度足够，就能还原出真实的后验概率的。
所以，我们可以将变分推断（VI）学到的分布qθ(z)作为MCMC的初始值，
用MCMC迭代几轮，让他越来越逼近真实的分布p(z∣x)，
然后再回去更新近似分布的参数qθ(z) 。
如此迭代地来即解决了变分近似不准的问题，又解决了MCMC速度慢的问题。

KL 散度，这是一个用来衡量两个概率分布的相似性的一个度量指标。我们知道，现实世界里的任何观察都可以看成表示成信息和数据，一般来说，我们无法获取数据的总体，我们只能拿到数据的部分样本，根据数据的部分样本，我们会对数据的整体做一个近似的估计，而数据整体本身有一个真实的分布（我们可能永远无法知道），那么近似估计的概率分布和数据整体真实的概率分布的相似度，或者说差异程度，可以用 KL 散度来表示。

以这种方式组合vi和mcmc是一项挑