彻底理解 AdaBoost 自适应提升算法 | AdaBoost 的关键要点、基本原理、优缺点和实际应用

一、关键要点

AdaBoost，即自适应提升（Adaptive Boosting）算法的缩写，是一种基于 Boosting 策略的集成学习方法，旨在降低偏差。AdaBoost 的 “自适应” 二字意味着它能够在每一轮迭代后调整对训练数据实例的关注度（特别是那些之前被错误预测的样本）和更新弱学习器的权重。

与随机森林类似，AdaBoost 也是集成学习中的代表性算法之一，并且适用于分类和回归任务。Boosting 方法在近年来的多项数据竞赛中均取得了卓越的成绩，其背后的概念却并不复杂。该方法通过简单、易于理解的步骤构建简单的模型，进而将这些简单模型组合成强大的学习器。

当 Bagging 方法无法有效发挥作用时，可能会导致所有分类器在同一区域内都产生错误的分类结果。Boosting 方法背后的直观理念是，我们需要串行地训练模型，而非并行。每个模型都应专注于之前分类器表现不佳的样本区域。相较于随机森林中各决策树的相互独立性，AdaBoost 展现出一种顺序训练的级联结构。在 AdaBoost 中，后续模型的训练基于前一个模型的预测结果，形成依赖关系。这种级联方式使 AdaBoost 更专注于解决之前未能正确预测的样本，逐步优化预测性能。AdaBoost 充分考虑了每个弱学习器的发言权，不同于随机森林的简单投票或计算平均值。

AdaBoost 的核心思想在于：每一轮迭代后更新样本权重和弱学习器权重（这里的弱学习器通常使用决策树桩，决策树桩是指一个单层决策树），从而实现整体性能的优化提升。核心逻辑在于 “前人栽树，后人乘凉”。即前辈为后辈创造条件，后辈在此基础上进行改进。在 AdaBoost 中，我们首先训练一个弱学习器，并对其预测性能进行评估。在每一轮迭代后，我们更新样本的权重，也就是改变样本的困难度。对预测正确的样本减少关注，而对预测错误的样本加大关注，使新模型更能专注于克服前面的模型无法正确预测的困难样本。

截图自 B 站 UP 主 —— 五分钟机器学习

 最终，我们通过为不同的弱学习器赋予不同的权重，并将它们有效结合