带你了解集成学习

最新推荐文章于 2025-06-21 08:00:00 发布

Paulzhao6518

最新推荐文章于 2025-06-21 08:00:00 发布

阅读量3.6k

点赞数 5

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/qq_41853758/article/details/82668971

集成学习通过组合多个弱学习器形成强学习器，包括Boosting、Bagging和Stacking方法。Boosting中的典型算法如AdaBoost和GBDT，它们基于残差学习，通过改变数据权重来迭代生成分类器。Bagging使用有放回抽样生成训练集，例如随机森林，以降低方差。Stacking则通过多个模型的组合，以非线性方式提升预测能力。Xgboost是高效的GBDT实现，引入正则化项并优化分割点选择，提高了训练速度和准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

集成学习（Ensemble Learning）有时也被笼统地称作提升（Boosting）方法，广泛用于分类和回归任务。它最初的思想很简单：使用一些（不同的）方法改变原始训练样本的分布，从而构建多个不同的分类器，并将这些分类器线性组合得到一个更强大的分类器，来做最后的决策。也就是常说的“三个臭皮匠顶个诸葛亮”的想法。

集成学习的理论基础来自于Kearns和Valiant提出的基于PAC（probably approximately correct）的可学习性理论，PAC 定义了学习算法的强弱：

弱学习算法：识别错误率小于1/2(即准确率仅比随机猜测略高的算法)
强学习算法：识别准确率很高并能在多项式时间内完成的算法

根据这两个概念，后来产生了一个重要的结论：
强可学习与弱可学习是等价的，即：一个概念是强可学习的充要条件是这个概念是弱可学习的。

据此，为了得到一个优秀的强学习模型，我们可以将多个简单的弱学习模型“提升”。

对于集成学习，我们面临两个主要问题：
1.如何改变数据的分布或权重
2.如何将多个弱分类器组合成一个强分类器

针对上述问题，目前主流方法有三种：
1.Boosting方法：包括Adaboosting，提升树（代表是GBDT）, XGBoost等
2.Bagging方法：典型的是随机森林
3.Stacking算法

首先介绍经典的样本估计方法：Bootstrapping
Bootstrapping的名字来自成语“pull up by your own bootstraps”，意思是依靠自己的资源，称做自助法，是一种有放回的抽样方法。它是非参数统计中一种重要的通过估计统计量方差进而进行区间估计的统计方法，遵从“在不知道数据总体分布时，对总体分布的最好的猜测便是由数据提供的分布”原则。自助法的要点是：
1.假定观察值就是数据总体
2.由这一假定的总体抽取样本，即再抽样

由原始数据经过再抽样所获得的与原始数据集含量相等的样本称为再抽样样本或自助样本。由原始数据集计算所得的统计量称为观察统计量，由再抽样样本计算所得的统计量称为自助统计量。自助法的关键在于自助统计量与观察统计量间的关系，等价于观察统计量与真实值之间的关系，即：
自助统计量：观察统计量 <==> 观察统计量：真值

具体步骤如下：
1.采用重抽样方式从原始样本中抽取一定数量（容量m）的数据，重复抽样m次，得到一个自助样本。
2.根据得到的自助样本计算特定的统计量。
3.重复上述N次，得到N个自助统计量。
4.根据上述N个自助统计量估计出真实值。
　　
bootstrap实质上是一种再抽样过程，相对于其他方法，在小样本时也具有较好效果。