贝叶斯线性回归

本文解析了贝叶斯线性回归的基本概念,介绍了如何将频率派线性回归转化为概率模型,通过推断过程计算后验概率,并展示了预测步骤。重点在于理解高斯分布的运用和参数估计的贝叶斯方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

贝叶斯线性回归

概述

​ 不同于频率派的线性回归Y=ωTX+ω0Y=\omega^TX+\omega_0Y=ωTX+ω0,贝叶斯学派认为ωT\omega^TωT不是一个值固定的常量,而是由输入数据集data决定的一个分布,因此贝叶斯线性回归的预测结果也不是一个固定值,而是一个分布

模型

​ 输入数据集data={(x,y)∣x∈Rp,y∈R}data=\{(x,y)|x\in R^p,y\in R\}data={(x,y)xRp,yR},定义X,YX,YX,Y之间的映射关系是:

{f(x)=ωTx+ω0y=f(x)+ϵ,(ϵ∼N(0,σ2))\begin{cases} f(x)=\omega^Tx+\omega_0\\y=f(x)+\epsilon,(\epsilon\sim N(0,\sigma^2))\end{cases}{f(x)=ωTx+ω0y=f(x)+ϵ,(ϵN(0,σ2))

​ 其中ϵ\epsilonϵ是服从高斯分布的噪声

推断

​ 根据输入数据集求模型参数ωT\omega^TωT的分布,即P(ωT∣X,Y)P(\omega^T|X,Y)P(ωTX,Y)

P(ωT∣X,Y)=P(ωT,X,Y)P(X,Y)=P(Y∣ωT,X)P(ωT∣X)P(X)P(Y,X)=P(Y∣ωT,X)P(ωT,X)P(Y∣X)P(\omega^T|X,Y)={P(\omega^T,X,Y)\over P(X,Y)}={P(Y|\omega^T,X)P(\omega^T|X)P(X)\over P(Y,X)}=\frac {P(Y|\omega^T,X)P(\omega^T,X)}{P(Y|X)}P(ωTX,Y)=P(X,Y)P(ωT,X,Y)=P(Y,X)P(YωT,X)P(ωTX)P(X)=P(YX)P(YωT,X)P(ωT,X)

其中,ωT,X\omega^T,XωT,X并不相关,因此经常简化为P(ωT∣X,Y)=P(Y∣ωT,X)P(ωT)P(Y∣X)P(\omega^T|X,Y)={P(Y|\omega^T,X)P(\omega^T) \over {P(Y|X)}}P(ωTX,Y)=P(YX)P(YωT,X)P(ωT),其中P(Y∣ωT,X)P(Y|\omega^T,X)P(YωT,X)为似然函数,P(ωT)P(\omega^T)P(ωT)为先验概率,P(ωT∣X,Y)P(\omega^T|X,Y)P(ωTX,Y)为后验概率。先验概率通常也指定为高斯分布$P(\omega^T)\sim N(0,\sim \delta^2) ,由模型可知,由模型可知X,\omega^T与与Y之间是高斯线性关系,则似然函数也服从高斯分布,之间是高斯线性关系,则似然函数也服从高斯分布,线P(Y|X)$是一个定值,又由于高斯分布是自共轭的,所以后验概率也服从高斯分布,通过计算可求出后验概率高斯分布的期望和标准差

预测

​ 即根据输出数据集计算出后验概率之后,根据输入x∗x^*x预测y∗y^*y的分布

P(y∗∣X,Y,x∗)=∫ωP(y∗∣ω,x∗)P(omega∣X<Y)dωP(y^*|X,Y,x^*)=\int^\omega P(y^*|\omega,x^*)P(omega|X<Y)d\omegaP(yX,Y,x)=ωP(yω,x)P(omegaX<Y)dω

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值