Adaboost是一种迭代式算法，通过结合多个弱分类器形成强分类器，具有低泛化误差和防止过拟合的能力。它对异常点敏感，每轮迭代会根据前一轮分类结果调整样本权重。相比之下，Bagging通过随机抽样创建多个独立的训练集，训练分类器并采用投票机制决定最终分类，能降低方差，减少过拟合。Boosting与Bagging的主要区别在于样本集的选择和分类器的生成方式，Boosting是序列生成，更注重纠正前一轮错误，而Bagging则是并行生成，训练样本独立。
Adaboost 算法很有名，全称是adaptive boosting。 曾被称为数据挖掘十大算法之一。 davide lowe那一篇关于人脸识别的文章中就用到了这个算法。 现在总结一些这个算法。
Adaboost是一种基于boost思想的一种自适应的迭代式算法。 通过在同一个训练数据集上训练多个弱分类器(weak classifier)， 然后把这一组弱分类器ensmble起来， 产生一个强分类器（strong classifier）。可以说是一个meta algorithms。
该算法的优点如下：
(1) 具有较低的泛化误差（low generalization）
(2) 改善了分类器的分类正确率
(3) 可以将这个算法配合多个分类算法使用。 例如， 我们可以选择C4.5， CART， SVM, 贝叶斯分类器, 或者decision stump等作为我们的弱分类器。
(4)容易coding
(5)不容易出现overfiting(过拟合)现象
缺点如下：
对outliers（异常点）非常的sensitive。 因为异常点容易分错， 会逐级影响后面的产生的弱分类器。
Adaboost每一轮迭代的时候都会训
最低0.47元/天 解锁文章
扫一扫
1772
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
