AdaBoost算法原理

最新推荐文章于 2025-07-01 18:34:01 发布

原创最新推荐文章于 2025-07-01 18:34:01 发布 · 329 阅读

CC 4.0 BY-SA版权

AdaBoost是一种提升弱学习器至强学习器的算法，通过调整样本分布来聚焦错误样本。它使用指数损失函数替代0/1损失函数，优化目标是连续可微的，从而在迭代中生成能最小化错误率的基学习器。每个基学习器的权重由其在当前分布下的分类误差决定，并据此更新样本分布，以便后续学习器更关注难分类的样本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

AdaBoost

AdaBoost是将弱学习器提升为强学习器的算法，首先从初始训练集训练一个基学习器，再根据基学习器的表现对样本分布进行调整，基于调整后的样本分布训练下一个学习器，下一个基学习器会更多的关注先前学习器做错的样本。如此重复进行，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。

AdaBoost算法模型之加性模型

$\large H(x)=\sum_{t=1}^T\alpha _th_t(x)$

通过最小化指数损失函数来进行模型求解

$\large l_{exp}(H|D)=E_{x\sim D}[e^{(-f(x)H(x))}]$

其中 $\large f(x)$ 是真实函数， $\large y_i\in\{-1,+1\}$

为什么可以用指数损失函数代替原本分类任务中的0/1损失函数

$\large sign(H(x))=\mathop{\arg\max}_{y\in\{-1,+1\}}P(f(x)=y|x)$
上式意味着 $\large sign(H(x))$ 达到了最优贝叶斯错误率，换言之，若指数损失函数最小，则分类错误率也将最小化。

由于这个替代函数有更好的数学性质，例如它是连续可微函数，因此，我们用它代替0/1损失函数作为优化目标。

在AdaBoost算法中，第一个学习器 $\large h_t$ 是通过直接将基学习器算法用于初始数据分布而得；此后迭代地生成 $\large h_t$ 和 $\large \alpha_t$ ,当基学习器 $\large h_t$ 基于分布 $\large D_t$ 产生后，该分类器的权重 $\large \alpha_t$ 应使得 $\large \alpha_t$ $\large h_t$ 最小化指数损失函数。