15、吉布斯采样器：原理、应用与代码实现

吉布斯采样器：原理、应用与代码实现

1. 多级吉布斯采样器

1.1 多级吉布斯采样器原理

多级吉布斯采样器是两级吉布斯采样器的自然扩展。假设随机变量 $X \in X$ 可写为 $X = (X_1, \cdots, X_p)$，其中 $X_i$ 可以是一维或多维分量。若能从相应的条件密度 $f_1, \cdots, f_p$ 进行模拟，即对于 $i = 1, 2, \cdots, p$，可模拟 $X_i|x_1, x_2, \cdots, x_{i - 1}, x_{i + 1}, \cdots, x_p \sim f_i(x_i|x_1, x_2, \cdots, x_{i - 1}, x_{i + 1}, \cdots, x_p)$。相关的吉布斯采样算法从 $X^{(t)}$ 到 $X^{(t + 1)}$ 的转换如下：
算法 8：多级吉布斯采样器
在迭代 $t = 1, 2, \cdots$ 时，给定 $x^{(t)} = (x_1^{(t)}, \cdots, x_p^{(t)})$，生成：
1. $X_1^{(t + 1)} \sim f_1(x_1|x_2^{(t)}, \cdots, x_p^{(t)})$；
2. $X_2^{(t + 1)} \sim f_2(x_2|X_1^{(t + 1)}, x_3^{(t)}, \cdots, x_p^{(t)})$；
$\cdots$
p. $X_p^{(t + 1)} \sim f_p(x_p|X_1^{(t + 1)}, \cdots, X_{p - 1}^{(t + 1)})$。

密度 $f_1, \cdots,