39、线性回归模型中的贝叶斯方法解读

线性回归模型中的贝叶斯方法解读

1. 后验分布与参数先验

在回归问题中，后验分布有着重要的意义。当我们有足够的信息时，后验分布会变成一个以真实参数值为中心的狄拉克 delta 函数，就像用白色十字所表示的那样。

对于参数的先验分布，我们可以考虑多种形式。例如，我们可以将高斯先验进行推广，得到如下形式的先验分布：
[p(w|\alpha) = \left[\frac{q}{2}\left(\frac{\alpha}{2}\right)^{1/q}\frac{1}{\Gamma(1/q)}\right]^M \exp\left(-\frac{\alpha}{2}\sum_{j = 0}^{M - 1}|w_j|^q\right)]
这里，当 (q = 2) 时，该分布对应高斯分布，并且只有在 (q = 2) 的情况下，这个先验分布才与似然函数（公式 3.10）共轭。

寻找关于 (w) 的后验分布的最大值，等价于最小化正则化误差函数（公式 3.29）。在高斯先验的情况下，后验分布的众数等于均值，但当 (q \neq 2) 时，这个关系将不再成立。

下面是不同 (q) 值下先验分布的特点对比：
| (q) 值 | 分布特点 | 与似然函数关系 | 后验分布众数与均值关系 |
| ---- | ---- | ---- | ---- |
| (q = 2) | 高斯分布 | 共轭 | 众数等于均值 |
| (q \neq 2) | 推广的分布形式 | 非共轭 | 众数不等于均值 |

2. 预测分布

在实际应用中，我们通常并不关心 (w) 本身的值，而是更关注对新的 (x