Gradient Boosted Decision Tree详解

最新推荐文章于 2025-05-10 22:08:58 发布

Leon1895

最新推荐文章于 2025-05-10 22:08:58 发布

阅读量250

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签： GBDT Adaboost C&amp;amp;RT 数学公式机器学习

本文链接：https://blog.youkuaiyun.com/qq_40793975/article/details/80976499

本文详细介绍了Gradient Boosted Decision Tree（GBDT）的工作原理，包括预备知识Adaboost的适用范围和更新，以及Gradient Boost的推导过程，如训练基学习器、选择基学习器的权值和训练集样本的更新。通过使用更灵活的损失函数，GBDT能够适应多种类型的任务，如回归和分类。文中还提到了如何应用CART等算法来训练基学习器，并通过平方误差最小化来优化模型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Gradient Boosted Decision Tree详解

第二次写博客，本人数学基础不是太好，如果有幸能得到读者指正，感激不尽，希望能借此机会向大家学习。这一篇的内容主要来自于《机器学习》和《机器学习技法》，以及自己的一些见解。

预备知识：

这一部分主要是谈一谈Adaboost的适用范围，以及Adaboost的更新中涉及到的基础数学公式和定理的推导。

Adaboost的适用范围

若 $f(x)f\left(x\right)$ 为样本 $x$ 的实际标签值， $H(x)H\left(x\right)$ 为样本 $x$ 的预测标签值，则Adaboost的指数损失函数可以表示为，

其中， $H(x)H\left(x\right)$ 符合加性模型，即

由此可见，Adaboost在未经修改的情况下只适用于二元分类问题。

Adaboost的更新

Adaboost的每轮迭代都会基于当前样本权值产生一个基学习器 $h_t$ ，和这个基学习器的权重 $αt\alpha_t$ ，并基于这两个条件进行样本分布（权值）的更新，假设第t-1轮迭代产生了学习器 $Ht−1=∑i=1t−1αihiH_{t-1}=\sum_{i=1}^{t-1}\alpha_ih_i$ ，根据Adaboost中给出的指数损失函数，可以推得第t轮的基学习器 $h_t$ 和权重 $αt\alpha_t$ 的选取要满足下面的式子

即，他们的选取要以最小化Adaboost的指数损失函数为目标。

推导过程

主要分为五部分：Gradient Boost、训练基学习器、选择基学习器的权值 $αt\alpha_t$ 、训练集样本的更新和Gradient Boosted Decision Tree。

Gradient Boost

由于未经修改的AdaBoost使用指数损失函数作为目标函数，且使用二元分类器作为其基学习器，导致其适用范围不是很广泛【1】，因此在Gradient Boost中，决定采用任意的学习算法产生基学习器，并将损失函数变为适用于基学习器的“任意”损失函数。
同样，假设第t-1轮迭代产生了学习器 $Ht−1=∑i=1t−1αihiH_{t-1}=\sum_{i=1}^{t-1}\alpha_ih_i$ ，则第t轮的基学习器 $h_t$ 和权重 $αt\alpha_t$ 的选取要满足下面的式子

其中， $err(~)err\left(\tilde{}\right)$ 可以为平方损失函数、hinge损失函数等等，由此可见，Gradient Boost可以通过扩展误差的度量方式，来达到接收更多类型的基学习器的目的（e.g. regression/soft classification/etc），下面以回归（Regression）任务为例。