系列33 Flow_Model

Introduction

在上一小节中讲到了Latent Variable Model（LAM），VAE。其主要思想就是将隐变量扩充为高维连续的分布，来增强模型的表达能力。而LAM模型中的核心困难是 计算不出来，因为 ，而 的维度过高 算不出来。而根据Bayesian公式：

所以导致 无法计算。而VAE那章介绍了近似推断的方法，使用一个简单分布 来近似 ，其中还使用重参数化技巧来用一个神经网络来代替分布。

而在VAE中通过优化变分下界ELBO来达到最终优化的目的，而不是直接对Log似然函数进行优化。所以当然会有误差了。那么这将启发我们，可不可以绕过这个intractable的 ，使模型变得tractable。

Flow based Model

什么是flow model呢？首先用一张图来进行表示：

可以用一个简单的例子来简单的介绍Flow model。 可以代表是当前的自己，人是比较复杂的，所以 计算非常困难。而一般昨天的我 ，比今天要简单一点，但是很有可能，昨天的我依然很复杂，无法计算。那么，就不但的往前推，到了刚出生的时候 ，这时肯定是非常简单的， 婴儿的世界里是非黑即白的，此时的分布很简单，可以被假设为 。而这个过程：