Adaboost & gradient boosting学习总结

最新推荐文章于 2025-07-01 18:34:01 发布

孤鸿子_

最新推荐文章于 2025-07-01 18:34:01 发布

阅读量1.7k

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签： boosting adaboost gradient boosting

本文链接：https://blog.youkuaiyun.com/Dylan_Frank/article/details/88149615

本文是关于Adaboost和Gradient Boosting的学习总结。Adaboost算法通过协调弱学习器形成强学习器，训练误差逐渐收敛。Gradient Boosting则是一种广义的框架，适用于回归问题。文中探讨了Adaboost的训练误差与泛化误差，并指出其不易过拟合。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

纸上得来终觉浅，觉知此事要躬行。综上，我什莫都不懂.这仅仅是个人的学习防忘笔记

Adaboost

关于 Adaboost 的算法描述其实很简单，有趣的是的它的误差分析:

algorithm

adaboost

其中

$\begin{aligned} \epsilon_t &= Pr_\{i\sim D_t\}[h_t(x_i)\ne y_i]\\ &=\sum D_t(i)I(h_t(x_i)\ne y_i)\\ \alpha_t &= 2^{-1}\log (\frac{1-\epsilon_t}{\epsilon_t}) \end{aligned}$

PS : 稍后会证明，为什么， $\alpha_t$ 取这个值

training error

第一个不等式就不说了，分析，equal 和not equal 两种情况就好，我们来看第二个等式。

其实第二个等式非常简单，我们只需要将 $D_t$ 的递推式展开就好了:

$\begin{aligned} D_2(i)&=\frac{m^{-1}\exp (-\alpha_1y_ih_1(x_i))}{Z_1},Z_t\ is\ normlize\ term,a \ const,for\ i \in {1,...,T}\\ D_3(i)&=\frac{D_2(i)\exp(-\alpha_2y_ih_2(x_i))}{Z_2}\\ &=\frac{m^{-1}\exp(-y_i(\alpha_1h_1(x_i)+\alpha_2h_2(x_i)))}{Z_1Z_2}\\ D_{T+1}&=\frac{m^{-1}\exp(-y_i(\sum \alpha_th_t(x_i)))}{\prod_t Z_t}\\ becouse \sum_i D_t(i)=1,& sum\ at\ left\ term\ and\ right\ term\\ \prod_t Z_t&=\sum_i m^{-1}\exp(-y_i(\sum \alpha_th_t(x_i))) \end{aligned}$