本文介绍了AdaBoost算法，它通过结合多个弱分类器构建一个强分类器。首先解释了弱分类器的概念，接着详细阐述了AdaBoost的工作原理，包括权重调整和错误率计算。内容涵盖了单层决策树（decision stump）的构建过程，以及如何用它们在数据集上训练和优化AdaBoost。最后，展示了在更大数据集上的应用情况，讨论了过拟合问题。
能否使用弱分类器和多个实例来构建一个强分类器，当然可以！弱分类器：就是分类器的性能比随机猜要略好，但也不会好太多。
AdaBoost：adaptive boosting（自适应boosting）的缩写。AdaBoost是一个二分类算法（和SVM一样）
运行过程：
1. 训练数据中的每个样本，赋予其权重，这些权重构成向量D。一开始向量D都初始化成相等值
2. 首先在训练数据上训练一个弱分类器，计算错误率。
3. 在同一数据集上再次训练弱分类器，第二次训练时，会重新调整权重，第一次分队的样本的权重会降低，分错的样本权重会提高
4. AdaBoost为每个分类器都分配了一个权重alpha，alpha是根据错误率计算的
错误率：
ε \varepsilon ε = 未正确分类的样本数目 / 所有样本数目
alpha的计算公式：
α = 1 2 l n ( 1 − ε ε ) \alpha = \frac{1}{2}ln(\frac{1 - \varepsilon }{\varepsilon }) α=21ln(ε
最低0.47元/天 解锁文章
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
