集成学习-Bagging 与 boosting_bagging模型误差-优快云博客

本文链接：https://blog.youkuaiyun.com/u014017206/article/details/90199085

本文详细介绍了机器学习中两种集成学习策略——Bagging和Boosting，以及它们如何分别减少方差和偏差。Bagging通过样本重采样和模型平均来降低方差，而Boosting利用迭代和加权方式逐步降低偏差。随机森林通过特征子集选择进一步降低方差，而Boosting则采用浅决策树来保持低偏差。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

偏差（bias）和方差（variance）：

为什么bagging是减少variance，而boosting是减少bias？为什么随机森林的树的深度往往大于GBDT的树的深度？这里涉及两个概念——偏差与方差。

偏差（bias）- 准：指的是算法的期望预测与真实值之间的偏差程度，反映了模型本身的拟合能力。要想low bias，就得复杂化模型，增加模型的参数但这样容易过拟合，过拟合对应上图的high variance，点很分散。low bias对应就是点都打在靶心附近，所以瞄的是准的，但手不一定稳。

方差（variance）- 确：度量了同等大小的训练集的变动导致学习性能的变化，刻画了数据扰动所导致的影响。要想low variance，就要简化模型，但这样容易欠拟合，欠拟合对应上图的high bias，点偏离中心。low variance对应就是点都打的很集中，但不一定是靶心附近，手很稳，但瞄的不准。

调参的目标：偏差和方差的协调，当我们建立模型时，偏差和方差都需要照顾到，一个也不能漏掉。

Bagging减少variance：

Bagging对样本重采样（有放回），对每一重采样得到的子样本集训练一个模型，最后取平均。由于子样本集的相似性以及使用的是同种模型，因此各模型有近似相等的bias和variance（事实上，各模型的分布也近似相同，但不独立）。

为了方便进行讲解，不妨认为各个子模型的bias和variance完全相等。因此 $E(\frac{\sum X_i}{n})=E(X_i)$ ，所以bagging后的bias和单个子模型的接近，一般来说不能显著降低bias。另一方面，若各子模型独立，则有 $\text{Var}(\frac{\sum X_i}{n})=\frac{\text{Var}(X_i)}{n}$