AdaBoost简单总结

最新推荐文章于 2024-06-10 18:05:11 发布

kingsam_

最新推荐文章于 2024-06-10 18:05:11 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习理论学习机器学习文章标签： adaboost

本文链接：https://blog.youkuaiyun.com/qq_22238533/article/details/79539972

Adaboost是一种boosting算法，通过调整样本权重和分类器权重进行迭代学习。核心在于利用前一分类器的学习结果调整下一次训练的样本权重，并通过加权求和的方式组合多个分类器进行预测。主要涉及两个权重：样本权重和分类器权重。样本权重根据分类错误率动态调整；分类器权重由对数比率决定，表示正确率与错误率的比值。在实际应用中，Adaboost常选择树模型作为基础分类器。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要：

继前面的gbdt,xgboost，这里是关于另外一个很有名的boosting算法，Adaboost，Ada是Adaptive的缩写（此外，有一种优化算法adagrad，自适应梯度下降也是用的adaptive缩写）。
同时由于网上对Adaboost的介绍的资料也很充足。在李航《统计学习方法》上面也有一个实际演算的例子。周志华《西瓜书》也对adaboost作了比较清晰的分析，所这里只是简单总结一下要点。

核心：

AdaBoost也是一类boosting的算法，既然是boosting算法所以核心也是符合这样一个训练过程：在训练第n个分类器时，会利用前n-1个分类器的结果。具体来说在Adaboost里面是通过前n-1个分类器的学习结果对第n个分类器即将学习的样本权重进行调整，最后预测的结果为将n个学习得到的分类器进行加权求和后经过符号函数的映射。

算法步骤：

输入：
1.训练集 $D={(x_1,y_1),(x_1,y_1)...(x_m,y_m)}$
2.基学习算法 $\Gamma$
3.迭代次数 $T$
过程：
1.初始化样本权重 $D_{1} (w) = {w_{11}, w_{12}, w_{13} . . . . w_{1 m}}, w_{1 i} = \frac{1}{m}$