16、吉布斯采样器：分层结构、参数化及相关策略

吉布斯采样器：分层结构、参数化及相关策略

1. 分层结构

分层模型由一系列条件分布定义，例如在两级通用层次结构中：
- (X_i \sim f_i(x|\theta))，(i = 1, \ldots, n)，其中(\theta = (\theta_1, \ldots, \theta_p))。
- (\theta_j \sim \pi_j(\theta|\gamma))，(j = 1, \ldots, p)，其中(\gamma = (\gamma_1, \ldots, \gamma_s))。
- (\gamma_k \sim g(\gamma))，(k = 1, \ldots, s)。

其联合分布为(\prod_{i = 1}^{n} f_i(x_i|\theta) \prod_{j = 1}^{p} \pi_j(\theta_j|\gamma) \prod_{k = 1}^{s} g(\gamma_k))。假设(x_i)是观测值，那么((\theta, \gamma))的后验分布与全后验条件相关：
- (\theta_j \propto \pi_j(\theta_j|\gamma) \prod_{i = 1}^{n} f_i(x_i|\theta))，(j = 1, \ldots, p)。
- (\gamma_k \propto g(\gamma_k) \prod_{j = 1}^{p} \pi_j(\theta_j|\gamma))，(k = 1, \ldots, s)。

在标准层次结构中，这些密度很容易模拟，因此自然地与吉布斯采样器相关联。在更复杂的层次结构中，可能需要使用更复杂的方法，如Metropolis - Hastin