13、流分解表示学习与变分自编码器的研究与实验

流分解表示学习与变分自编码器的研究与实验

1. 流分解变分自编码器的理论基础

在流分解表示学习中，先考虑先验分布的密度演化。其遵循如下方程：
$\partial_t p(\mathbf{z}_t) = -\nabla\cdot\big(p(\mathbf{z}_t)\nabla\psi\big)= D_k\nabla^2 p(\mathbf{z}_t)$
其中$D_k$是一个不随时间变化的常数系数，这里将其设为每个$k$不同的可学习参数，这意味着先验分布的密度演化遵循一个恒定的扩散过程。

为了对模型中未观察到的变量进行推断，采用变分近似来逼近真实后验，并将模型参数作为变分自编码器（VAE）进行训练。具体做法是，对$p(\mathbf{z} 0| \mathbf{x}_0)$参数化一个近似后验，同时参数化一组$K$个函数$u^k(\mathbf{z})$来近似真实的潜在势$\psi^ $。下面分不同情况进行讨论：
- 观察到变换类别的推断 ：当$k$可观察时，近似后验分解为：
$q( \bar{\mathbf{z}} | \bar{\mathbf{x}}, k) = q(\mathbf{z} 0 | \mathbf{x}_0) \prod {t=1}^T q(\mathbf{z} t | \mathbf{z} {t-1}, k)$
该近似后验实际上只考虑了元素$\mathbf{x} 0$的信息，但结合$k$的监督，足以让后验准确地对完整的潜在序列进行建模。通过结合相关方程，可以推导出模型证据下限（ELBO）：
$\log p(