机器学习面试必知:Adaboost算法的精确形式

  • 初始化数据加权系数wn=1/Nw_{n}=1/Nwn=1/N
  • 对于m=1,...,Mm=1,...,Mm=1,...,M
    • 使用训练数据调节一个分类器ym(x)y_{m}(x)ym(x),调节的目标是最小化加权的误差函数Jm=∑n=1Nwn(m)I(ym(xn)≠tn)J_{m}=\sum_{n=1}^{N}w_{n}^{(m)}I(y_{m}(x_{n})\neq t_{n})Jm=n=1Nwn(m)I(ym(xn)̸=tn)
    • 计算ϵm=∑n=1Nwn(m)I(ym(xn)≠tn)∑n=1Nwn(m)\epsilon_{m}=\frac{\sum_{n=1}^{N}w_{n}^{(m)}I(y_{m}(x_{n})\neq t_{n})}{\sum_{n=1}^{N}w_{n}^{(m)}}ϵm=n=1Nwn(m)n=1Nwn(m)I(ym(xn)̸=tn) αm=ln1−ϵmϵm\alpha_{m}=\mathrm{ln}\frac{1-\epsilon_{m}}{\epsilon_{m}}αm=lnϵm1ϵm
    • 更新权重系数wn(m+1)=wn(m)exp(αmI(ym(xn)≠tn))w_{n}^{(m+1)}=w_{n}^{(m)}exp(\alpha_{m}I(y_{m}(x_{n})\neq t_{n}))wn(m+1)=wn(m)exp(αmI(ym(xn)̸=tn))
  • 使用最终的模型进行预测YM(x)=sign(∑m=1Mαmym(x))Y_{M}(x)=sign(\sum_{m=1}^{M}\alpha_{m}y_{m}(x))YM(x)=sign(m=1Mαmym(x))
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值