贝叶斯线性回归

贝叶斯线性回归

概述

​ 不同于频率派的线性回归$Y={\omega }^{T}X+{\omega }_0$，贝叶斯学派认为${\omega }^T$不是一个值固定的常量，而是由输入数据集data决定的一个分布，因此贝叶斯线性回归的预测结果也不是一个固定值，而是一个分布

模型

​ 输入数据集data={(x,y)∣x∈Rp,y∈R}data=\{(x,y)|x\in R^p,y\in R\}data={(x,y)∣x∈Rp,y∈R},定义$X,Y$之间的映射关系是：

$$\{\begin{array}{l}f(x)={\omega }^{T}x+{\omega }_0\\ y=f(x)+ϵ,(ϵ\sim N(0,{\sigma }^2))\end{array}$$

​ 其中$ϵ$是服从高斯分布的噪声

推断

​ 根据输入数据集求模型参数${\omega }^T$的分布，即$P({\omega }^T|X,Y)$

​ $P({\omega }^T|X,Y)=\frac{P({\omega }^T,X,Y)}{P(X,Y)}=\frac{P(Y|{\omega }^T,X)P({\omega }^T|X)P(X)}{P(Y,X)}=\frac{P(Y|{\omega }^T,X)P({\omega }^T,X)}{P(Y|X)}$

其中，${\omega }^T,X$并不相关，因此经常简化为$P({\omega }^T|X,Y)=\frac{P(Y|{\omega }^T,X)P({\omega }^T)}{P(Y|X)}$，其中$P(Y|{\omega }^T,X)$为似然函数，$P({\omega }^T)$为先验概率，$P({\omega }^T|X,Y)$为后验概率。先验概率通常也指定为高斯分布$P(\omega^T)\sim N(0,\sim \delta^2) $，由模型可知$X,\omega^T$与$Y$之间是高斯线性关系，则似然函数也服从高斯分布，$P(Y|X)$是一个定值，又由于高斯分布是自共轭的，所以后验概率也服从高斯分布，通过计算可求出后验概率高斯分布的期望和标准差

预测

​ 即根据输出数据集计算出后验概率之后，根据输入$x^{\ast }$预测$y^{\ast }$的分布

$P(y^{\ast }|X,Y,x^{\ast })={\int }^{\omega }P(y^{\ast }|\omega ,x^{\ast })P(omega|X<Y)d\omega$