GBDT基本原理及算法描述

最新推荐文章于 2025-08-02 23:58:34 发布

Y学习使我快乐V

最新推荐文章于 2025-08-02 23:58:34 发布

阅读量5.5w

点赞数 43

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签： GBDT 梯度提升树拟合残差

本文链接：https://blog.youkuaiyun.com/qq_24519677/article/details/82020863

一. 前言

在AdaBoost基本原理与算法描述中，我们介绍了AdaBoost的基本原理，本篇博客将介绍boosting系列算法中的另一个代表算法GBDT（Gradient Boosting Decision Tree，梯度提升树）算法。这里对GBDT的学习做一个总结，也希望对有帮助的同学能有一个帮助。

在介绍AdaBoost的时候我们讲到了，AdaBoost算法是模型为加法模型，损失函数为指数函数，学习算法为前向分步算法时的分类问题。而GBDT算法是模型为加法模型，学习算法为前向分步算法，基函数为CART树，损失函数为平方损失函数的回归问题，为指数函数的分类问题和为一般损失函数的一般决策问题。在针对基学习器的不足上，AdaBoost算法是通过提升错分数据点的权重来定位模型的不足，而梯度提升算法是通过算梯度来定位模型的不足。

当GBDT的损失函数是平方损失时，即 $L(y,f(x))=\frac{1}{2}(y-f(x))^2$ 时，则负梯度 $-\frac{\partial L}{\partial f(x)}=y-f(x)$ ，而 $y-f(x)$ 即为我们所说的残差，而我们的GBDT的思想就是在每次迭代中拟合残差来学习一个弱学习器。而残差的方向即为我们全局最优的方向。但是当损失函数不为平方损失时，我们该如何拟合弱学习器呢？大牛Friedman提出使用损失函数负梯度的方向代替残差方向，我们称损失函数负梯度为伪残差。而伪残差的方向即为我们局部最优的方向。所以在GBDT中，当损失函数不为平方损失时，用每次迭代的局部最优方向代替全局最优方向（这种方法是不是很熟悉？）。

说了这么多，现在举个例子来看看GBDT是如何拟合残差来学习弱学习器的。我们可以证明，当损失函数为平方损失时，叶节点中使平方损失误差达到最小值的是叶节点中所有值的均值；而当损失函数为绝对值损失时，叶节点中使绝对损失误差达到最小值的是叶节点中所有值的中位数。相关证明将在最后的附录中给出。

训练集是4个人，A，B，C，D年龄分别是14，16，24，26。样本中有购物金额、上网时长、经常到百度知道提问等特征。提升树的过程如下：（图片来源）

从上图可以看出，第一棵树建立的时候使用的是原始数据，而后每一棵树建立使用的是前n-1次的残差来拟合弱学习器。

下面，我们就来简单的介绍一下GBDT的基本原理和算法描述。

二. GBDT回归树基本模版

梯度提升算法的回归树基本模版，如下所示：

输入：训练数据集 $T=\left \{ (x{_{1},y{_{1}}}),(x{_{2}},y{_{2}}),...,(x{_{N}},y{_{N}}) \right \}$ ，损失函数为 $L(y,f(x))$

输出：回归树 $F(x)$

（1）初始化：（估计使损失函数极小化的常数值，它是只有一个根节点的树，一般平方损失函数为节点的均值，而绝对损失函数为节点样本的中位数）

$f{_{0}}(x)=arg\underset{c}{min}\sum_{i=1}^{N}L(y{_{i}},c)$

（2）对 $m=1,2,...,M$ （M表示迭代次数，即生成的弱学习器个数）：

（a）对样本 $i=1,2,...N$ ，计算损失函数的负梯度在当前模型的值将它作为残差的估计，对于平方损失函数为，它就是通常所说的残差；而对于一般损失函数，它就是残差的近似值（伪残差）：

$r{_{mi}}=-[\frac{\partial L(y{_{i}},f(x{_{i}}))}{\partial f((x{_{i}}))}]_{f(x)=f{_{m-1}}(x)}$

（b）对 $\left \{ (x{_{1}},r{_{m1}}),..., (x{_{N}},r{_{mN}})\right \}$ 拟合一个回归树，得到第m棵树的叶节点区域 $R{_{mj}}$ ， $j=1,2,...,J$ （J表示每棵树的叶节点个数）

（c）对 $j=1,2,...,J$ ，利用线性搜索，估计叶节点区域的值，使损失函数最小化，计算

$c{_{mj}}=arg\underset{c}{min}\sum_{x{_{i}}\in R{_{mj}}}L(y{_{i}},f{_{m-1}}(x{_{i}}+c)))$

（d）更新

$f{_{m}}(x)=f{_{m-1}}(x)+\sum_{J}^{j=1}c{_{mj}}I(x\in R{_{mj}})$

（3）得到最终的回归树

$F(x)=\sum_{m=1}^{M}\sum_{j=1}^{J}c{_{mj}}I(x\in R{_{mj}})$

三. GBDT的算法描述

3.1 GBDT的损失函数

在sklearn中梯度提升回归树有四种可选的损失函数，分别为'ls：平方损失'，'lad:绝对损失'，'huber：huber损失'，'quantile：分位数损失'；而在sklearn中梯度提升分类树有两种可选的损失函数，一种是‘exponential：指数损失’，一种是‘deviance：对数损失’。下面分别介绍这几种损失函数。

3.1.1 梯度提升回归树损失函数介绍

（1）ls：平方损失，这是最常见的回归损失函数了，如下：

$L(y,f(x))=(y-f(x))^2$

（2）lad：绝对损失，这个损失函数也很常见，如下：

$L(y,f(x))=|y-f(x)|$

对应负梯度为：

$r(y{_{i}},f(x{_{i}}))=sign(y{_{i}}-f(x{_{i}}))$

（3）huber：huber损失，它是平方损失和绝对损失的这种产物，对于远离中心的异常点采用绝对损失，而中心附近的点采用平方损失。这个界限一般用分位数点度量。损失函数如下：

$L(y,f(x))=\begin{cases} \frac{1}{2}(y-f(x))^2 & \text{ if } |y-f(x)|\leq \delta \\ \delta (|y-f(x)|-\frac{\delta }{2})& \text{ if } |y-f(x)|> \delta \end{cases}$