6、离散随机变量流模型详解

离散随机变量流模型详解

1. 离散随机变量流的拓扑问题与影响

在处理离散随机变量流时，我们会遇到一些有趣的拓扑问题。例如，将一个蓝色的环变换为一个品红色的球（如图 3.8 所示）。为了使这个变换是双射的，在将蓝色环变换到品红色球的位置时，必须确保新的品红色“环”是“断开”的，这样新的蓝色“球”才能进入。从拓扑学的角度来看，这是因为这两个空间是非同胚的，如果品红色环不断开，就无法解释蓝色球是如何进入的，这会破坏双射性。

那么，这些拓扑问题对基于流的模型有什么影响呢？在需要去量化的流模型中，可能会出现类似图 3.9 的情况。在这个简单的例子中，有两个离散随机变量，经过均匀去量化后，有两个区域具有相等的概率质量，另外两个区域的概率质量为零。然而，经过训练的基于流的模型会在真实分布概率为零的区域分配非零的概率质量。这是因为流中的变换必须是双射的，所以两个区域之间存在连续性。

虽然在简单情况下，这种影响可能不大，但在处理更多随机变量时，小的误差积累可能会导致概率质量泄漏，从而使模型的概率分配不准确。

2. 离散随机变量的变量变换公式

在考虑离散随机变量的流之前，我们需要确定是否存在离散随机变量的变量变换公式。幸运的是，答案是肯定的。对于离散空间 (X) 中的 (x \in X_D)（例如 (X = {0, 1}) 或 (X = Z)），变量变换公式如下：
[p(x) = \pi(z_0 = f^{-1}(x))]
其中 (f) 是可逆变换，(\pi(\cdot)) 是基础分布。这里我们会发现缺少雅可比行列式，这是因为在离散世界中，概率质量分配到“无形状”的点上，双射变换不会改变体积，所以雅可比行列式始终等于 1。