3、深度生成自回归模型：原理与实践

深度生成自回归模型：原理与实践

1. 概率理论基础

在深入探讨如何对分布 $p(x)$ 进行建模之前，我们先来回顾一下概率论的核心规则——求和规则与乘积规则。假设有两个随机变量 $x$ 和 $y$，它们的联合分布为 $p(x, y)$。乘积规则允许我们以两种方式对联合分布进行分解：
- $p(x, y) = p(x|y)p(y)$
- $p(x, y) = p(y|x)p(x)$

这意味着联合分布可以表示为边际分布与条件分布的乘积。而求和规则告诉我们，如果要计算其中一个变量的边际分布，就需要对另一个变量进行积分（或求和），即：
$p(x) = \sum_{y} p(x, y)$

这两条规则在概率论和统计学中起着至关重要的作用，尤其在构建深度生成模型时。

现在，考虑一个高维随机变量 $x \in X^D$，其中 $X = {0, 1, \ldots, 255}$（例如像素值）或 $X = \mathbb{R}$。我们的目标是对 $p(x)$ 进行建模。在考虑具体的参数化方法之前，我们先运用乘积规则以另一种方式表示联合分布：
$p(x) = p(x_1) \prod_{d=2}^{D} p(x_d|x_{<d})$

其中 $x_{<d} = [x_1, x_2, \ldots, x_{d-1}]^{\top}$。例如，当 $x = [x_1, x_2, x_3]^{\top}$ 时，有 $p(x) = p(x_1)p(x_2|x_1)p(x_3|x_1, x_2)$。

虽然乘积规则为我们提供了将联合分布分解为多个条件分布的原则性方法，但分别对所有条件分布 $p(x_d|x_