【十一】贝叶斯统计正则化

本文介绍了贝叶斯统计正则化,包括最大后验概率估计(MAP)算法及其防止过拟合的优势。此外,还探讨了在线学习的概念,强调其边学习边预测的特点和总错误数的上界。最后,讨论了开发机器学习系统时需要注意的事项,如欠拟合、过拟合问题以及目标函数的选择。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

贝叶斯统计正则化 Bayesian Statistics and Regularization

当我们使用最大似然估计算法Maximum Likelihood(ML)估计θ值时,就我们采用的估计方程为,在这一公式下,有两种学派表达了对θ的不同看法。

第一种成为"频率学派",频率学派认为θ是一个未知的常量,我们的工作便是通过各种统计方法估计θ。

另一种称为“贝叶斯学派”,贝叶斯学派认为θ是一个服从某一分布的变量,其值是未知的。在这一假设中,我们需要确认先验概率Prior Distribution P(θ)从而表达我们对参数θ出现的“信任程度”。给定训练集S={xi,yi;i=1,...,m},当我们需要对一个新的x进行预测时,我们首先计算在这一训练集下θ的先验概率


上式中的p(yi|xi,θ)的具体表达式视选择不同学习模型而不同,当我们使用贝叶斯logistic回归时,便有

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值