贝叶斯方法与Ridge回归有什么联系?废话少说,我们直接来看。
为了方便说明问题,考虑一维的自变量,将一系列自变量排成向量的形式:x=(x1,⋯ ,xN)T\mathbf{x}=(x_1,\cdots,x_N)^Tx=(x1,⋯,xN)T,对应的目标函数为t=(t1,⋯ ,tN)T\mathbf{t}=(t_1,\cdots,t_N)^Tt=(t1,⋯,tN)T。
我们假设样本中每个ttt都独立,且服从正态分布,分布的均值为y(x,w)=∑j=0Mwjxjy(x,\mathbf{w})=\sum_{j=0}^{M} w_j x^jy(x,w)=∑j=0Mwjxj(也可以不指定形式,只要是关于xxx和w\mathbf{w}w的函数即可),方差的倒数为β\beta