Adaboost Adaptive Boosting

目录

前言

一、Adaboost是什么？

二、Adaboost的优点和缺点

三、Adaboost的应用场景

四、构建Adaboost模型的注意事项

五、Adaboost模型的实现类库

六、Adaboost模型的评价指标

七、类库scikit-learn实现Adaboost的例子

八、Adaboost的模型参数

总结

---

前言

Adaboost是机器学习中集成学习思路的一种实现。

一、Adaboost是什么？

Adaboost是集成学习中Boosting方法的一种实现，名字是adaptive和boosting的混合，属于迭代算法。在第一次迭代中，给予所有的训练实例相等的权重，训练一个弱学习器（在性能上仅仅略优于随机因素的估计器），在后续的迭代中，会增加在前面的迭代中若学习器预测错误的训练实例的权重，从而减少预测正确的训练实例的权重，经过一定次数的迭代后，算法达到完美性能时就会停止，最终将会预测出基础估计器预测的权重和。Adaboost迭代过程的关键，是关注于集成预测错误的实例。
Adaboost是第一个为二进制分类开发的真正成功的增强算法。这是理解助力的最佳起点，现在助推方法建立在Adaboost上，最著名的是随机梯度增强机。

二、Adaboost的优点和缺点

1. 优点

• 很好的利用了弱分类器进行级联;
• 可以将不同的分类算法作为弱分类器;
• 具有很高的精度;
• 充分考虑了每个分类器的权重;
• 不容易过拟合，性能稳定；

2. 缺点

• 迭代次数，也就是弱分类器的数目不好设定，可以使用交叉验证来进行确定;
• 数据不平衡导致分类精度下降;
• 训练比较耗时，每次重新选择当前分类器最好切分点;
• 计算复杂度高