30、归一化流：原理、应用与不同网络层介绍

归一化流：原理、应用与不同网络层介绍

1. 归一化流概述

在生成模型领域，生成对抗网络（GANs）是一种将潜在变量通过深度网络生成新样本的模型，其训练原则是使生成样本与真实数据难以区分。然而，GANs 并未定义数据示例的分布，因此评估新示例属于同一数据集的概率并非易事。

归一化流则是一种通过深度网络将简单分布转换为更复杂分布来学习概率模型的方法。它既能从该分布中采样，也能评估新示例的概率。但归一化流需要特殊的架构，即每一层都必须是可逆的，也就是能够在两个方向上转换数据。

2. 一维示例

归一化流是概率生成模型，它能将概率分布拟合到训练数据上。以一维分布 Pr(x) 为例，归一化流从一个关于潜在变量 z 的简单易处理的基础分布 Pr(z) 开始，应用函数 x = f[z, ϕ]，通过选择合适的参数 ϕ 使 Pr(x) 具有所需的分布。

2.1 测量概率

测量数据点 x 的概率更具挑战性。当对已知密度 Pr(z) 的随机变量 z 应用函数 f[z, ϕ] 时，概率密度在函数拉伸的区域会减小，在压缩的区域会增加，以保证新分布下的面积仍为 1。函数 f[z, ϕ] 对输入的拉伸或压缩程度取决于其梯度的大小。若输入的小变化导致输出的大变化，则函数拉伸；若输入的小变化导致输出的小变化，则函数压缩。

更精确地说，变换后分布下数据 x 的概率为：
[Pr(x|\phi) = \left|\frac{\partial f[z, \phi]}{\partial z}\right|^{-1} \cdot Pr(z)]
其中 (z = f^{-1}[x, \phi]) 是生成 x 的潜在变量，(P