17、贝叶斯方法与模型选择技术详解

贝叶斯方法与模型选择技术详解

1. 贝叶斯方法基础

贝叶斯分析的核心在于更新先验信息，这依赖于计算积分 $\int_{-1}^{+1} f_{prior}(\xi)L(x_1, x_2, \ldots, x_n|\xi)d\xi$。当某些先验密度和似然函数的组合能使该积分以封闭形式求解，且得到的后验密度与先验属于同一族时，这些组合被称为“共轭对”。过去，共轭对是应用贝叶斯定理的唯一可行模型。

1.1 马尔可夫链蒙特卡罗（MCMC）方法

对于非共轭对的积分计算，传统数值方法可能因计算限制而不实用。MCMC 方法简化了计算，其核心是 Metropolis - Hastings 算法，具体步骤如下：
1. 初始时任意选择一个 $\tilde{\mu}$ 值，记为 $\tilde{\mu}_0$。
2. 随机选择另一个 $\tilde{\mu}$ 值，记为 $\tilde{\mu}_1$。可以使用任何方法随机生成 $\tilde{\mu}_1$，例如从先验分布 $g(\tilde{\mu})$ 中随机生成。
3. 计算比率 $R = \frac{g(\tilde{\mu}_1)f_X(x|\tilde{\mu}_1)}{g(\tilde{\mu}_0)f_X(x|\tilde{\mu}_0)}$，其中 $f_X(x|\tilde{\mu})$ 是似然函数。
4. 随机生成一个介于 0 和 1 之间的数，记为 $u$。如果 $R \geq u$，则新的 $\tilde{\mu}$ 值为 $\tilde{\mu}_1$，将其存储在列表中；否则，存储 $\tilde{\mu}_0$。
5. 将新存储的值赋给 $\tilde{\mu}_0$。