4、马尔可夫链蒙特卡罗算法基础与Metropolis算法详解

马尔可夫链蒙特卡罗算法基础与Metropolis算法详解

1. 马尔可夫链的基本性质

马尔可夫链在蒙特卡罗方法中有着重要的应用，其具备几个关键性质，包括不可约性、非周期性和细致平衡条件。

1.1 不可约性

当任意一对状态 ${x}$ 和 ${x’}$ 能通过有限步连接时，该马尔可夫链被称为不可约的。这一性质十分重要，因为若无法到达某些状态，就无法获取这些状态的信息。

以下是一些非不可约的例子：
- 示例一 ：假设 $x$ 为实数，通过使用 $-1$ 到 $1$ 之间的均匀随机数 $r$ 定义 $x^{(k + 1)} = x^{(k)} \times r$。由于 $x$ 的绝对值不会增大，特别是当 $x$ 变为 $0$ 后，就会永远保持为 $0$，所以这个马尔可夫链不是不可约的。
- 示例二 ：假设积分区域不连通，设 $C_1$ 为 $x < 0$，$C_2$ 为 $x > 1$，考虑 $C = C_1 \cup C_2$ 上的积分。通过选择 $-c$ 到 $+c$ 之间的均匀随机数 $\Delta x$ 来构造马尔可夫链，当 $c \leq 1$ 时，无法在 $C_1$ 和 $C_2$ 之间来回转换。若 $x^{(0)} < 0$，链会被困在 $C_1$；若 $x^{(0)} > 1$，链会被困在 $C_2$，因此该马尔可夫链不是不可约的。而当 $c > 1$ 时，就可以在 $C_1$ 和 $C_2$ 之间来回转换，此时马尔可夫链是不可约的。
- 示例三 ：当概率分布 $P(x) \