Adaboost, boosting 和bagging的比较

Adaboost是一种迭代式算法,通过结合多个弱分类器形成强分类器,具有低泛化误差和防止过拟合的能力。它对异常点敏感,每轮迭代会根据前一轮分类结果调整样本权重。相比之下,Bagging通过随机抽样创建多个独立的训练集,训练分类器并采用投票机制决定最终分类,能降低方差,减少过拟合。Boosting与Bagging的主要区别在于样本集的选择和分类器的生成方式,Boosting是序列生成,更注重纠正前一轮错误,而Bagging则是并行生成,训练样本独立。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Adaboost 算法很有名,全称是adaptive boosting。 曾被称为数据挖掘十大算法之一。 davide lowe那一篇关于人脸识别的文章中就用到了这个算法。 现在总结一些这个算法。

Adaboost是一种基于boost思想的一种自适应的迭代式算法。 通过在同一个训练数据集上训练多个弱分类器(weak classifier), 然后把这一组弱分类器ensmble起来, 产生一个强分类器(strong classifier)。可以说是一个meta algorithms。

该算法的优点如下:

(1)  具有较低的泛化误差(low generalization)

(2)  改善了分类器的分类正确率

(3) 可以将这个算法配合多个分类算法使用。 例如, 我们可以选择C4.5, CART, SVM, 贝叶斯分类器, 或者decision stump等作为我们的弱分类器。

(4)容易coding

(5)不容易出现overfiting(过拟合)现象

缺点如下:

对outliers(异常点)非常的sensitive。  因为异常点容易分错, 会逐级影响后面的产生的弱分类器。

Adaboost每一轮迭代的时候都会训

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值