57、蒙特卡罗采样方法：原理、算法与应用

蒙特卡罗采样方法：原理、算法与应用

1. 吉布斯采样的局限性

吉布斯采样在处理不同相关性的高斯分布时表现不同。对于低相关性的二维高斯分布，吉布斯采样能够有效地遍历可能区域。但对于强相关性的高斯分布，它的效率较低，无法快速探索可能区域，甚至可能永远无法探索到右上角区域。这是因为当两个区域之间没有“可能”的吉布斯路径连接时，就会出现这个问题。

当分布是因子化的，即变量相互独立时，吉布斯采样是一种完美的采样方法。然而，当变量之间存在强相关性时，吉布斯采样的效果通常会变差。例如，在强相关性的双变量高斯分布中，更新在空间中的移动会非常缓慢。因此，寻找能使新变量近似独立的变量变换是很有用的，这样可以更有效地应用吉布斯采样。

2. 马尔可夫链蒙特卡罗（MCMC）

2.1 基本思想

我们假设存在一个多元分布 $p(x) = \frac{1}{Z} p^ (x)$，其中 $p^ (x)$ 是未归一化的分布，$Z = \int_x p^ (x)$ 是计算上难以处理的归一化常数。我们能够对任意状态 $x$ 计算 $p^ (x)$，但由于 $Z$ 难以计算，无法计算 $p(x)$。MCMC 采样的思想不是直接从 $p(x)$ 采样，而是从另一个分布采样，使得在大量样本的极限情况下，样本实际上来自 $p(x)$。为了实现这一点，我们从一个马尔可夫转移中进行前向采样，该转移的平稳分布等于 $p(x)$。

2.2 马尔可夫链

考虑条件分布 $q(x_{l + 1}|x_l)$。如果给定一个初始样本 $x_1$，我们可以递归地生成样本 $x_1, x_2, \cdots, x_