BayesianLR贝叶斯线性回归

最新推荐文章于 2024-07-04 15:19:51 发布

hengtao wang

最新推荐文章于 2024-07-04 15:19:51 发布

阅读量240

点赞数

CC 4.0 BY-SA版权

分类专栏：算法文章标签：机器学习

本文链接：https://blog.youkuaiyun.com/weixin_43458628/article/details/115715034

算法专栏收录该内容

23 篇文章

订阅专栏

本文详细介绍了贝叶斯线性回归的原理，特别是在噪声为高斯分布的情况下。通过引入高斯先验，探讨了如何进行参数的后验分布推断，并展示了如何通过共轭分布简化计算，得到后验参数的高斯分布。进一步讨论了预测过程，给出了解决给定新输入时预测输出的表达式。整个分析揭示了贝叶斯方法在处理线性回归问题时的灵活性和实用性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

贝叶斯线性回归

我们知道，线性回归当噪声为高斯分布的时候，最小二乘损失导出的结果相当于对概率模型应用 MLE，引入参数的先验时，先验分布是高斯分布，那么 MAP的结果相当于岭回归的正则化，如果先验是拉普拉斯分布，那么相当于 Lasso 的正则化。这两种方案都是点估计方法。我们希望利用贝叶斯方法来求解参数的后验分布。

线性回归的模型假设为：
$KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲f(x)=w^Tx \\y=f…$
在贝叶斯方法中，需要解决推断和预测两个问题。

推断

引入高斯先验：
$p(w)=\mathcal{N}(0,\Sigma_p)$
对参数的后验分布进行推断：
$p(w|X,Y)=\frac{p(w,Y|X)}{p(Y|X)}=\frac{p(Y|w,X)p(w|X)}{\int p(Y|w,X)p(w|X)dw}$
分母和参数无关，由于 $p (w ∣ X) = p (w)$ ，代入先验得到：
$p(w|X,Y)\propto \prod\limits_{i=1}^N\mathcal{N}(y_i|w^Tx_i,\sigma^2)\cdot\mathcal{N}(0,\Sigma_p)$
高斯分布取高斯先验的共轭分布依然是高斯分布，于是可以得到后验分布也是一个高斯分布。第一项：
$KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲\prod\limits_{i…$
代入上面的式子：
$p(w|X,Y)\propto\exp(-\frac{1}{2\sigma^2}(Y-Xw)^T\sigma^{-2}\mathbb{I}(Y-Xw)-\frac{1}{2}w^T\Sigma_p^{-1}w)$
假定最后得到的高斯分布为： $N(μw,Σw)\mathcal{N}(\mu_w,\Sigma_w)$ 。对于上面的分布，采用配方的方式来得到最终的分布，指数上面的二次项为：
$-\frac{1}{2\sigma^2}w^TX^TXw-\frac{1}{2}w^T\Sigma_p^{-1}w$
于是：
$\Sigma_w^{-1}=\sigma^{-2}X^TX+\Sigma_p^{-1}=A$
一次项：
$\frac{1}{2\sigma^2}2Y^TXw=\sigma^{-2}Y^TXw$
于是：
$\mu_w^T\Sigma_w^{-1}=\sigma^{-2}Y^TX\Rightarrow\mu_w=\sigma^{-2}A^{-1}X^TY$

预测

给定一个 $x^*$ ，求解 $y^*$ ，所以 $f(x^*)=x^{*T}w$ ，代入参数后验，有 $x∗Tw∼N(x∗Tμw,x∗TΣwx∗)x^{*T}w\sim \mathcal{N}(x^{*T}\mu_w,x^{*T}\Sigma_wx^*)$ ，添上噪声项：
$p(y^*|X,Y,x^*)=\int_wp(y^*|w,X,Y,x^*)p(w|X,Y,x^*)dw=\int_wp(y^*|w,x^*)p(w|X,Y)dw\\ =\mathcal{N}(x^{*T}\mu_w,x^{*T}\Sigma_wx^*+\sigma^2)$