64、马尔可夫链蒙特卡罗方法与塌缩粒子技术解析

马尔可夫链蒙特卡罗方法与塌缩粒子技术解析

1. 马尔可夫链蒙特卡罗方法（MCMC）

MCMC 方法在近似推理技术中占据重要地位。在多链采样时，若多条链收敛到同一分布，它们应给出相似的估计，且基于所有链收集的完整样本集的估计方差应与每条链的方差相当。

具体操作步骤如下：
1. 从不同起点开始，运行 K 条独立链，每条链运行 T + M 步。
2. 丢弃每条链的前 T 个样本，设 $X_k[m]$ 表示链 k 在第 T + m 次迭代后的样本。
3. 计算链间方差 B 和链内方差 W：
- $\overline{f} k = \frac{1}{M} \sum {m = 1}^{M} f(X_k[m])$
- $\overline{f} = \frac{1}{K} \sum_{k = 1}^{K} \overline{f} k$
- $B = \frac{M}{K - 1} \sum {k = 1}^{K} (\overline{f} k - \overline{f})^2$
- $W = \frac{1}{K} \frac{1}{M - 1} \sum {k = 1}^{K} \sum_{m = 1}^{M} (f(X_k[m]) - \overline{f}_k)^2$
4. 计算 $V = \frac{M - 1}{M} W + \frac{1}{M} B$，它会高估基于收集样本对 f 的估计方差。
5. 计算 $\hat{R} = \sqrt{\frac{V}{W}}$，用于衡量链之间的不一致性。若 $\hat{R}$ 接近 1，可能链已收敛到真实分布