6、动态蒙特卡罗方法与马尔可夫链极限定理

动态蒙特卡罗方法与马尔可夫链极限定理

1. 背景与动机

在处理一些模型时，真实场景的估计被定义为后验分布的均值或众数，也就是在极大离散空间上的吉布斯场，这些通常难以进行解析处理。组合优化提供了许多用于“困难”和“非常困难”优化问题的算法，但它们的应用范围往往有限。例如，福特 - 富尔克森算法无法处理多色问题，GNC 算法仅适用于特定的恢复模型和白高斯噪声。

近年来，动态蒙特卡罗方法在离散优化、神经网络等多个领域受到了广泛关注，在现代图像分析中也成为了一种有用且流行的方法。接下来将详细介绍一种特殊的动态蒙特卡罗方法——吉布斯采样器。

2. 马尔可夫链基础

所有待开发的算法都有三个共同特性：
- 给定的配置在后续步骤中进行更新。
- 第 n 步的更新根据某种概率规则进行。
- 该规则仅取决于步骤数和当前配置。

这种系统的状态根据无记忆的随机动态演化，马尔可夫链是这种随机动态（离散时间）的合适模型。

2.1 基本定义

• 转移概率与马尔可夫核 ：设 X 是一个有限集，称为状态空间。一族概率分布 ((P(x, \cdot))_{x \in X}) 称为转移概率或马尔可夫核。马尔可夫核 P 可以用矩阵表示，其中 (P(x, y)) 是第 x 行和第 y 列的元素，即一个 (|X| \times |X|) 的方阵，每行都是概率向量。
• 马尔可夫链 ：有限空间 X 上的（非齐次）马尔可夫链由初始分布 v 和马尔可夫核 (P_1, P_2, \cdots) 给出。如果对于所有的 i 都有