26、贝叶斯线性回归：原理与应用

贝叶斯线性回归：原理与应用

1. 正则化与贝叶斯视角

在机器学习的线性回归中，正则化是一种常用的方法来避免过拟合。例如，正则化项 $\lambda |\theta|_2^2$ 可以被解释为负对数高斯先验。当使用最大后验（MAP）估计时，这种解释尤为有用。

设高斯先验为 $p(\theta) = \mathcal{N}(0, b^2I)$，则负对数高斯先验为：
[-\log p(\theta) = \frac{1}{2b^2} |\theta|_2^2 + \text{const}]
当 $\lambda = \frac{1}{2b^2}$ 时，正则化项和负对数高斯先验相同。

最小化正则化最小二乘损失函数：
[\theta_{RLS} = (\Phi^{\top}\Phi + \lambda I)^{-1}\Phi^{\top}y]
当 $\lambda = \frac{\sigma^2}{b^2}$ 时，它与 MAP 估计相同，其中 $\sigma^2$ 是噪声方差，$b^2$ 是高斯先验的方差。

最大似然估计（MLE）和 MAP 估计都可能导致过拟合。而贝叶斯线性回归则采用贝叶斯推理来找到未知参数的后验分布，用于后续的预测。

2. 贝叶斯线性回归模型

在贝叶斯线性回归中，我们考虑以下模型：
- 先验 ：$p(\theta) = \mathcal{N}(m_0, S_0)$
- 似然 ：$p(y | x, \theta) = \mathcal{N}(y | \varphi^{\top