本文探讨了贝叶斯方法与Ridge回归之间的联系。在正态分布假设下，最大似然估计与使用OLS解决线性回归相同。在贝叶斯框架中，通过引入参数的正态分布先验，后验概率的最大化转化为包含惩罚项的优化问题，与Ridge回归的正则化项一致，表明两者在特定条件下等效。
贝叶斯方法与Ridge回归有什么联系？废话少说，我们直接来看。
为了方便说明问题，考虑一维的自变量，将一系列自变量排成向量的形式：x=(x1,⋯ ,xN)T\mathbf{x}=(x_1,\cdots,x_N)^Tx=(x1,⋯,xN)T，对应的目标函数为t=(t1,⋯ ,tN)T\mathbf{t}=(t_1,\cdots,t_N)^Tt=(t1,⋯,tN)T。
我们假设样本中每个ttt都独立，且服从正态分布，分布的均值为y(x,w)=∑j=0Mwjxjy(x,\mathbf{w})=\sum_{j=0}^{M} w_j x^jy(x,w)=∑j=0Mwjxj（也可以不指定形式，只要是关于xxx和w\mathbf{w}w的函数即可），方差的倒数为β\beta
最低0.47元/天 解锁文章
扫一扫
492
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
