机器学习面试必知：Adaboost算法的精确形式

最新推荐文章于 2025-01-15 20:52:56 发布

Neekity

最新推荐文章于 2025-01-15 20:52:56 发布

阅读量397

点赞数

CC 4.0 BY-SA版权

分类专栏：面试机器学习文章标签： Adaboost

本文链接：https://blog.youkuaiyun.com/Neekity/article/details/87893382

面试同时被 2 个专栏收录

39 篇文章

订阅专栏

机器学习

39 篇文章

订阅专栏

                    
                    初始化数据加权系数wn=1/Nw_{n}=1/Nwn​=1/N
对于m=1,...,Mm=1,...,Mm=1,...,M
使用训练数据调节一个分类器ym(x)y_{m}(x)ym​(x),调节的目标是最小化加权的误差函数Jm=∑n=1Nwn(m)I(ym(xn)≠tn)J_{m}=\sum_{n=1}^{N}w_{n}^{(m)}I(y_{m}(x_{n})\neq t_{n})Jm​=n=1∑N​wn(m)​I(ym​(xn​)̸​=tn​)
计算ϵm=∑n=1Nwn(m)I(ym(xn)≠tn)∑n=1Nwn(m)\epsilon_{m}=\frac{\sum_{n=1}^{N}w_{n}^{(m)}I(y_{m}(x_{n})\neq t_{n})}{\sum_{n=1}^{N}w_{n}^{(m)}}ϵm​=∑n=1N​wn(m)​∑n=1N​wn(m)​I(ym​(xn​)̸​=tn​)​ αm=ln1−ϵmϵm\alpha_{m}=\mathrm{ln}\frac{1-\epsilon_{m}}{\epsilon_{m}}αm​=lnϵm​1−ϵm​​
更新权重系数wn(m+1)=wn(m)exp(αmI(ym(xn)≠tn))w_{n}^{(m+1)}=w_{n}^{(m)}exp(\alpha_{m}I(y_{m}(x_{n})\neq t_{n}))wn(m+1)​=wn(m)​exp(αm​I(ym​(xn​)̸​=tn​))

使用最终的模型进行预测YM(x)=sign(∑m=1Mαmym(x))Y_{M}(x)=sign(\sum_{m=1}^{M}\alpha_{m}y_{m}(x))YM​(x)=sign(m=1∑M​αm​ym​(x))