集成学习(ensemble Learning)

集成学习通过构建多个学习器来完成任务,包括Boosting、Bagging和Stacking。Boosting中的AdaBoost和GBDT、xgboost用于提升弱学习器。Bagging如随机森林通过样本扰动降低方差。Stacking则通过组合多个学习器的预测结果训练高层学习器。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

集成学习(ensemble Learning)通过构建并结合多个学习器来完成学习任务,有时也被称为多分类器系统(multi-classifier system)、基于委员会的学习(committee-based learning)等,其一般结构是先产生一组“个体学习器”(individual learning),再用某种策略将它们结合起来。个体学习器通常由一个现有的学习算法从训练数据中产生,如果个体学习器的集成是同质(homogeneous)的,那么同质集成中的个体学习器称为“基学习器”(base learner);如果是异质(heterogenous)的,则相应的个体学习器称为“组件学习器”(component learner)或直接称为个体学习器。

其主要分为三大类:Boosting、Bagging、Stacking。其中Boosting的代表有AdaBoost,gbdt,xgboost;Bagging的代表则是随机森林(Random Forest)。

Boosting主要关注降低偏差,因此Boosting能基于泛化性能相当弱的学习器构造出很强的集成;而Bagging主要关注降低方差,因此它在不剪枝的决策树、神经网络等学习器上效用更为明显。


一、Boosting

Boosting是一种可将弱学习器提升为强学习器的算法,它是一种序列化方法,有着强依赖关系,必须串行生成,不过xgboost有些例外,xgboost可以在节点分裂属性选择上做并行计算。Boosting的工作类似:先基于初始训练集训练出一个弱的学习器,然后根据前一个弱学习器做错的训练样本,改变样本的概率分布,构成新的训练集,然后基于调整后的样本分布训练下一个学习器,这样反复迭代提升,知道基学习器的数目达到指定值,最后将这T个基学习器进行加权结合,就构成了一个很强的学习器。

(1)AdaBoost,也就是Adaptive Boosting(自适应增强),其主要思想就是在不改变训练数据的情况下,通过在迭代训练弱学习器中,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值