38、线性回归中的贝叶斯方法：稀疏性与层次化先验

线性回归中的贝叶斯方法：稀疏性与层次化先验

在机器学习的线性回归领域，贝叶斯方法为参数推断提供了强大的工具。特别是在处理稀疏性和多相关线性回归问题时，不同的先验分布和推断方法展现出独特的优势。以下将详细介绍几种促进稀疏性的先验分布和相关的贝叶斯推断策略。

1. 促进稀疏性的先验分布

在贝叶斯线性回归中，促进稀疏性的先验分布有助于得到更简洁和有效的模型。以下是几种常见的先验分布：

1.1 尖峰 - 平板先验（Spike and slab prior）

尖峰 - 平板先验是实现稀疏性的经典方法。它是一个二分量混合模型，形式如下：
[p(w) = \prod_{d=1}^{D} (1 - \pi)\delta(w_d) + \pi Unif(w_d| -a, a)]
其中，(\pi) 是每个系数非零的先验概率。对应的对数先验为：
[log p(w) = ||w|| 0 log(1 - \pi) + (D - ||w||_0) log \pi = -\lambda ||w||_0 + const]
这里，(\lambda = log\frac{\pi}{1 - \pi}) 控制模型的稀疏性，(||w||_0 = \sum {d=1}^{D} I (w_d \neq 0)) 是权重的 (\ell_0) 范数。使用尖峰 - 平板先验的最大后验（MAP）估计等价于 (\ell_0) 正则化，会惩罚非零系数的数量。而且，后验样本也会是稀疏的，这与拉普拉斯先验不同。理论和实验都表明，使用尖峰 - 平板先验的后验均值比使用拉普拉斯先验的后验众数具有更好的预测准确性。

在实际应用中，通常用宽高斯分布近似均匀平