63、马尔可夫链蒙特卡罗方法：Metropolis–Hastings与Gibbs采样算法解析

马尔可夫链蒙特卡罗方法：Metropolis–Hastings与Gibbs采样算法解析

1. 引言

在统计学和机器学习领域，马尔可夫链蒙特卡罗（MCMC）方法是一类强大的采样技术，用于从复杂的概率分布中生成样本。本文将详细介绍Metropolis–Hastings算法及其单分量变体，以及Gibbs采样算法，这些算法在贝叶斯推断、统计物理学等领域有着广泛的应用。

2. Metropolis–Hastings算法的计算优化

在Metropolis–Hastings算法中，利用性质（19.46）可以简化计算并提高效率。具体来说，通过完全条件分布概率的比值 $\frac{p(x’ I|x’ {-I})}{p(x_I|x_{-I})}$ 来计算联合概率的比值 $\frac{p(x’)}{p(x)}$，因为前者通常更容易计算。

示例19.9 ：设 $x_1$ 和 $x_2$ 的联合概率分布的密度函数为：
$p(x_1, x_2) \propto \exp\left{-\frac{1}{2}(x_1 - 1)^2(x_2 - 1)^2\right}$
求其完全条件分布。

解 ：根据完全条件分布的定义：
- $p(x_1|x_2) \propto p(x_1, x_2) \propto \exp\left{-\frac{1}{2}(x_1 - 1)^2(x_2 - 1)^2\right} \sim N\left(1, (x_2 - 1)^{-2}\right)$
这里 $N\left(1, (x_2 - 1)^{-2