Flow-based学习笔记

Flow-based 学习笔记

flow-based的生成效果虽然不如GAN，但他已经非常接近GAN，足够惊艳。流模型是一种比较独特的生成模型——它选择直接直面生成模型的概率计算，要知道现阶段其他较火的生成模型，要么采用优化上界（VAE）或采用对抗训练的方式（GAN）去避开概率计算，从而寻找近似逼近真实分布的方法，但是流模型选择了一条硬路（主要是通过变换Jacobian 行列式）来求解，在后文会详细介绍。

1. 生成模型

在讲述Flow-based模型之前，首先介绍一下生成模型要解决什么问题：

如上图所示，给定两组数据 z 和 x，其中 z 服从已知的简单先验分布$\pi (z)$（通常是高斯分布,$x$服从复杂的分布$p(x)$(即训练数据代表的分布），现在我们想要找到一个变换函数$f$，它能建立一种$z$到$x$的映射$f:z\to x$，使得每对于$\pi (z)$中的一个采样点$z^{{}^{\prime }}$，都能在$p(x)$中有一个（新）样本点$x^{{}^{\prime }}$与之对应。

如果这个变换函数能找到的话，那么我们就实现了一个生成模型的构造。因为,$p(x)$中的每一个样本点都代表一张具体的图片，如果我们希望机器画出新图片的话，只需要从$\pi (z)$中随机采样一个点，然后通过$f:z\to x$，得到新样本点 $x$，也就是对应的生成的具体图片。所以，接下来的关键在于，这个变换函数 $f$如何找呢？我们先来看一个最简单的例子。

如上图所示，假设 z 和 x 都是一维分布，其中 z 满足简单的均匀分布：$\pi (z)=1(z\in [0,1]),$x 也满足简单均匀分布：$p(x)=0.5(x\in [1,3])$

那么构建 z 与 x 之间的变换关系只需要构造一个线性函数即可:$x=f(z)=2z+1$.

下面再考虑非均匀分布的更复杂的情况:

如上图所示，$\pi (z)$与$p(x)$都是较为复杂的分布，为了实现二者的转化，我们可以考虑在很短的间隔上将二者视为简单均匀分布，然后应用前边方法计算小段上的$f_{∆}$，最后将每个小段变换累加起来（每个小段实际对应一个采样样本）就得到最终的完整变换式 $f$。

如上图所示，假设在$[z^{{}^{\prime }},z^{{}^{\prime }}+△z]$上$\pi (z)$近似服从均匀分布，在$[x\prime ,x\prime +∆x]$上$p(x)$也近似服从均匀分布，于是有$p(x^{{}^{\prime }})△x=\pi (z^{{}^{\prime }})△z$（因为变换前后的面积/即采样概率是一致的），当$△x$与$△z$极小时，有：
$$p(x^{{}^{\prime }})=\pi (z^{{}^{\prime }})\frac{dz}{dx}$$
又考虑到$\frac{dz}{dx}$有可能是负值（如下图所示），而$p(x^{{}^{\prime }})$与$\pi (z^{{}^{\prime }})$都为非负，所以$p(x^{{}^{\prime }})$与$\pi (z^{{}^{\prime }})$的实际关系为:$p(x^{{}^{\prime }})=\pi (z^{{}^{\prime }})|\frac{dz}{dx}|$

下面进一步地做推广,我们考虑$z$与$x$都是二维分布的情形。

如上图所示,$z$与$x$都是二维分布,左图中浅蓝色区域表示初始点$z^{{}^{\prime }}$在$z_1$方向上移动$△z_1$,在$z_2$方向上移动$△z_2$所形成的区域，这一区域通过$f:z\to x$映射，形成右图所示$x$域上的浅绿色菱形区域。其中，二维分布$\pi (z)$与$p(x)$均服从简单均匀分布，其高度在图中未画出 （垂直纸面向外)。

因为蓝色区域与绿色区域具有相同的体积，所以有：
$$p(x^{{}^{\prime }})|\begin{array}{c}det[\begin{array}{c}\Delta x_{11}\\ \Delta x_{12}\end{array}\end{array}$$