GBDT(Gradient Boosting Decision Tree)

GBDT原理详解
最新推荐文章于 2025-04-19 10:23:23 发布
原创 最新推荐文章于 2025-04-19 10:23:23 发布 · 439 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了GBDT(梯度提升决策树)的工作原理，包括其作为提升树模型的基础概念，以及如何通过前向分步模型来逐步逼近最优预测值。文章详细解释了在不同损失函数下的梯度提升策略，并提供了算法实现流程。

GBDT(Gradient Boosting Decision Tree)

1.提升树

提升树模型的基分类器为决策树，每次训练的结果影响下一次训练的决策树。我们这里只谈回归问题，训练的结果为M个决策树相加。对于二分类问题只需把AdaBoost算法的基分类器换为决策树。

用前向分步模型表示

fm(x)=fm−1(x)+T(x;θm)

其中
T(xi;θm)=∑j=1JcjI(xi∈Rj)

T(xi;θm)为回归决策树，它将特征空间分割J个区域，每个区域表示为Rj,每个区域设定一个值cj，当xi∈Rj时 决策树的输出为cj。

当使用平均方差损失函数时

L(yi,fm(xi))=12(yi−fm−1(xi)−T(xi;θm))2=12(rmi−T(xi;θm))2=L(rmi,T(xi;θm))

rmi是当前模型fm−1(x) 的残差yi−fm−1(xi)。因此我们可以用当前模型的残差去拟合下一颗决策树。

2.梯度提升

当损失函数不是平均方差时，用损失函数的负梯度近似去代替当前模型的残差

[−∂L(yi,f(x))∂f(x)]f(x)=fm−1(x)

算法：

  1. 初始化 f0(x)=argminc∑Ni=1L(yi−c)

  2. 对于 m= 1,2,.., M

    a 对于 i = 1,.., N 计算

    rmi=[−∂L(yi,f(x))∂f(x)]f(x)=fm−1(x)

    b 对rm拟合一颗回归树，得到第m颗树的叶结点区域 Rmj ,j=1,2,..,J

    c 对 j=1,2,,…J 计算

    cmj=argminc∑xi∈RmjL(yi,fm−1(x)+c)

    d 更新 fm(x)=fm−1(x)+∑jj=1cmjI(x∈Rmj)

  3. 得到提升数 fM(x).

GBDT（梯度提升树，Gradient Boosting Decision Tree）
Netceor的博客
02-21 706
GBDT(Gradient Boosting Decision Tree)在数据分析和预测中的效果很好。它是一种基于决策树的集成算法。其中Gradient Boosting 是集成方法boosting中的一种算法，通过梯度下降来对新的学习器进行迭代。而GBDT中采用的就是CART决策树。
GBDT(1)-梯度提升决策树（Gradient Boosting Decision Tree）
Lavender-csdn的博客
03-13 878
GBDT也是集成学习中的一种算法，我们之前已经讲了Boosting集成学习的思想，在了解GBDT之前，我们先了解一下提升树。 提升树 提升树是以分类树或者回归树为基本分类器的提升方法。采用加法模型(即基函数的线性组合)与向前分布算法，以决策树为基函数的提升方法称为提升树(boosting tree)，对于分类问题其决策树是二叉分类树，对于回归问题决策树是二叉回归树。提升树的模型可以表示为： ...
GBDT (Gradient Boosting Decision Tree)
doswynkfsw的博客
05-01 293
背景 GBDT是BT的一种改进算法。然后，Friedman提出了梯度提升树算法，关键是利用损失函数的负梯度作为提升树残差的近似值。 当使用平方损失时，负梯度就是残差。 算法模型 树模GBDT初始化ccc为所有标签的均值。 学习完第一棵树： Υj1=arg⁡min⁡⏟Υ∑xi∈Rj1L(yi,f0(xi)+Υ) \Upsilon_{j 1}=\underbrace{\arg \min }_{\Upsilon} \sum_{x_{i} \in R_{j 1}} L\left(y_{i}, f_{0}\left(
GBDT 梯度提升树（Gradient Boosting Decision Tree）长篇全解
qq_49183286的博客
11-21 1万+
GBDT梯度提升树
超全面讲透一个算法模型，GBDT！！
最新发布
weixin_41560800的博客
04-19 1850
GBDT，全名是（Gradient Boosting Decision Tree），是一种常用的机器学习算法。和。
梯度提升决策树(Gradient Boosting Decision Tree，GBDT)
ywm_up
11-11 1万+
文章目录总结综述一、Regression Decision Tree：回归树二、Boosting Decision Tree：提升树算法三、Gradient Boosting Decision Tree：梯度提升决策树四、重要参数的意义及设置五、拓展 总结 回归树： 用均方误差的最小二乘法作为选择特征、划分树节点的依据，构造回归树 提升树： 迭代多颗回归树，新树以上一棵树的残差来构造。最终结果是树相同位置节点值的和。 梯度提升决策树： 在提升树的基础上，用梯度来替代残差构造新树。 综述 GBDT(Gradi
GBDT(Gradient Boosting Decision Tree) 没有实现只有原理
DarkScope从这里开始
05-03 14万+
阿弥陀佛，好久没写文章，实在是受不了了，特来填坑，最近实习了(ting)解(shuo)到(le)很多工业界常用的算法，诸如GBDT,CRF,topic model的一些算法等，也看了不少东西，有时间可以详细写一下，而至于实现那真的是没时间没心情再做了，等回学校了再说吧。今天我们要说的就是GBDT(Gradient Boosting Decision Tree)
Gradient Boosting Decision Tree
10-30
**梯度提升决策树(Gradient Boosting Decision Tree, GBDT)**是一种广泛应用的机器学习算法，尤其在分类和回归任务中表现出色。它结合了决策树（Decision Tree）的易理解和模型透明性，以及梯度提升（Gradient ...
《LightGBM: A Highly Efficient Gradient Boosting Decision Tree》论文笔记
zephyr_wang的博客
10-23 2484
1 简介 本文根据2017年microsoft研究所等人写的论文《LightGBM: A Highly Efficient Gradient Boosting Decision Tree》翻译总结。 Gradient Boosting Decision Tree (GBDT)已是一个流行的机器学习方法，也存在一些实施，例如XGBoost和pGBRT。可以进行多类别分类、点击率预测、学习排名等应用场景。但他们的效率和可扩展性还是不太满意，尤其是针对高维度数据和大数据时。其中一个主要原因是：对于每个特征，他们需
论文解读：LightGBM——A Highly Efficient Gradient Boosting Decision Tree
weixin_44441131的博客
01-20 2341
摘要 GBDT是个非常流行的机器学习算法，有几个非常有效的应用实现，例如XGBoost合pGBRT。尽管这些应用算法应用来了很多工程优化技术，但是当特征维度特别大，数据量特别多时，这些算法还是不够高效。一个主要原因是：对于每一个特征，他们需要遍历所有数据去估计所有分裂点的信息增益，这会非常耗时。为了解决这个问题，我们提出了两种技术：GOSS(单边梯度采样)和EFB(互斥特征绑定)。对于GOSS，我们留下梯度较大的数据样本，而对梯度较小的样本进行随机采样，并加上权重补偿损失。论文也证明梯度较大的样本对计算信息
GBDT（MART） 迭代决策树入门教程 | 简介
热门推荐
w28971023的专栏
11-29 18万+
在网上看到一篇对从代码层面理解gbdt比较好的文章，转载记录一下：                GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（g
Gradient Boosting Decision Tree (GBDT)
YQMind的博客
08-02 756
GBDT也是集成学习Boosting家族的成员，Boosting是各个基学习器之间有很强的依赖关系，即串行。GBDT限定了基学习器只能使用CART回归树。 GBDT是一个加法模型，采用前向分步算法进行求解 GBDT在函数空间利用梯度下降法进行优化，算法原理如下： LLL是损失函数，TTT是想迭代的次数 ...
机器学习（三）GBDT（Gradient Boosting Decision Tree）迭代决策树
我的学习记录
06-22 8587
阿里的比赛一直是跟着大神们的脚步，现在大家讨论最多的
GBDT算法整理
davidie的专栏
03-15 3万+
最近重点学习了gbdt算法，看了较多的博客文章，整理了一下这些比较有用的内容，包括算法理论、算法分析、代码剖析、注意事项等各个方面。 转载来源： http://www.cnblogs.com/rocketfan/p/4324605.html http://www.cnblogs.com/rocketfan/p/4365950.html http://www.cnblogs.com/
梯度提升决策树（Gradient Boosting Decision Tree，GBDT）
天泽28的专栏
07-07 1万+
梯度提升决策树（Gradient Boosting Decision Tree，GBDT） 集成学习的系列博客： 集成学习（ensemble learning）基础知识 随机森林（random forest） AdaBoost算法（一）——基础知识篇 AdaBoost算法（二）——理论推导篇 梯度提升决策树（Gradient Boosting Decision Tree，GBDT） 今天来讲一...
机器学习算法GBDT的面试要点总结-上篇
weixin_30364325的博客
11-07 1145
1.简介 gbdt全称梯度提升决策树，在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一，在前几年深度学习还没有大行其道之前，gbdt在各种竞赛是大放异彩。原因大概有几个，一是效果确实挺不错。二是即可以用于分类也可以用于回归。三是可以筛选特征。这三点实在是太吸引人了，导致在面试的时候大家也非常喜欢问这个算法。gbdt的面试考核点，大致有下面几个: gbdt 的算法的流程？...
Gradient Boosted Decision Trees（GBDT）详解
Learning from the mistakes
09-16 1万+
感受 GBDT集成方法的一种，就是根据每次剩余的残差，即损失函数的值。在残差减少的方向上建立一个新的模型的方法，直到达到一定拟合精度后停止。我找了一个相关的例子来帮助理解。本文结合了多篇博客和书，试图完整介绍GBDT的内容，欢迎大家来指正。 介绍 GBDT是一个应用很广泛的算法，可以用来做分类、回归。GBDT这个算法还有其它名字，如MART(Multiple Additiv...
Gradient Boosting Decision Tree（GBDT）-梯度提升决策树
fengziyihang的博客
03-22 2258
Gradient Boosting Decision Tree（GBDT）-梯度提升决策树GBDT是集成学习的又一代表作，以boosting为基础的分部加法模型，活跃在各个应用领域，十分受欢迎。所以我们首先来了解一下boosting算法。一、boostingboosting是集成学习三大模式（bagging、stacking和boosting）之一。boosting基本原理：假设样本集{（xi, ...
Gradient Boosting Decision Tree介绍
04-20
Gradient Boosting Decision Tree（GBDT）是一种集成学习算法，它通过串行地训练弱分类器并将它们相互补充，从而构建一个强分类器。它使用梯度下降算法（Gradient Descent）来最小化损失函数，从而提高模型的整体...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值