5、基于流的模型：从连续到离散的深入探索

基于流的模型：从连续到离散的深入探索

1. RealNVP的构建模块

1.1 耦合层

RealNVP的主要组成部分是耦合层。该层的输入会被分为两部分，即 $x = [x_a, x_b]$。这种划分可以是将向量 $x$ 简单地分为 $x_{1:d}$ 和 $x_{d + 1:D}$，也可以采用更复杂的方式，如棋盘模式。耦合层的变换定义如下：
- $y_a = x_a$
- $y_b = \exp(s(x_a)) \odot x_b + t(x_a)$

其中，$s(\cdot)$ 和 $t(\cdot)$ 分别是称为缩放和转换的任意神经网络。这种变换是可逆的，其逆变换为：
- $x_b = (y_b - t(y_a)) \odot \exp(-s(y_a))$
- $x_a = y_a$

此外，雅可比行列式的对数很容易计算，因为：
$J =
\begin{bmatrix}
I_{d\times d} & 0_{d\times (D - d)} \
\frac{\partial y_b}{\partial x_a} & \text{diag}(\exp(s(x_a)))
\end{bmatrix}$

从而得到：
$\det(J) = \prod_{j = 1}^{D - d} \exp(s(x_a)) j = \exp\left(\sum {j = 1}^{D - d} s(x_a)_j\right)$

不过，耦合层只处理了一半的输入，因此需要考虑与其他合适的变换相结合。

1.2