GBDT-梯度提升决策树

最新推荐文章于 2025-08-27 15:48:34 发布
原创 最新推荐文章于 2025-08-27 15:48:34 发布 · 1.5k 阅读 · 25 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#决策树 #算法 #机器学习 #数据挖掘

文章详细介绍了梯度提升决策树（GBDT），一种基于boosting的加法模型，通过前向分布算法训练CART树，每次迭代专注于拟合前一棵树的残差。文章涵盖了CART树的基本原理、GBDT的训练过程以及目标函数的优化策略。

梯度提升决策树（Gradient Boosting Decision Tree, GBDT）是一种基于boosting集成学习思想的加法模型，训练时采用前向分布算法进行贪婪学习，每次迭代都学习一棵CART树来拟合之前t−1t-1t−1棵树的训练样本真实值的残差。

CART(Classification and Regression tree)

最小二乘回归算法
输入：训练数据集DDD。
输出：回归树f(x)f(x)f(x)。
在训练数据集所在的输入空间中，递归地将每个区域划分为两个子区域并决定每个子区域的输出值，构建二叉决策树：

  1. 选择最优切分变量jjj与切分点sss，求解：
    min⁡i,s[min⁡C1∑xi∈R1(j,s)(yi−c1)2+min⁡C2∑xi∈R2(j,s)(yi−c2)2]\min_{i,s} [\min_{C_{1}}\sum_{x_i\in R_1(j,s)}(y_i-c_1)^2+\min_{C_2}\sum_{x_i \in R_2(j,s)}(y_i-c_2)^2 ]i,smin​[C1​min​xi​∈R1​(j,s)∑​(yi​−c1​)2+C2​min​xi​∈R2​(j,s)∑​(yi​−c2​)2]
    遍历变量jjj，对固定的切分变量jjj扫描切分点sss，选择使上式达到最小值的对
最低0.47元/天 解锁文章
机器学习分类算法：梯度提升决策树（GBDT）
YOLOv3333的博客
09-18 411
它通过迭代地训练多个决策树模型，并将它们组合起来，以提高分类性能。本文介绍了GBDT算法的原理，并提供了一个使用Python实现的示例代码。它通过迭代地训练多个决策树模型，并将它们组合起来，以提高分类性能。在每一轮迭代中，GBDT通过拟合负梯度的残差来训练新的决策树模型。GBDT算法基于梯度提升的思想，通过迭代的方式逐步提升模型的性能。在每一轮迭代中，GBDT学习一个新的决策树模型，该模型试图纠正前一轮迭代中的预测误差。通过将多个决策树模型组合起来，GBDT能够逐步减小整体模型的误差，从而提高分类性能。
机器学习：梯度提升树（GBDT）——基于决策树的树形模型
weixin_74268817的博客
11-11 4349
介绍一种树形模型，梯度提升树（GBDT），涉及其构建原理和过程，优点和局限性。 文章如有错误，欢迎大噶指正！
机器学习算法系列（二十）-梯度提升决策树算法（Gradient Boosted Decision Trees / GBDT）
Saisimon`s blog
04-04 4052
机器学习算法系列（二十）-梯度提升决策树算法（Gradient Boosted Decision Trees / GBDT）
广告推荐模型4：梯度提升决策树（Gradient Boosting Decision Tree，GBDT）
qq_54708219的博客
08-27 931
优点：强大的非线性表达能力：能自动捕获复杂的高阶特征交互，无需人工干预。出色的特征选择能力：对特征缺失不敏感，能自动忽略无关特征，使用分裂时带来最大信息增益的特征。处理混合类型特征：能天然地处理连续值和离散值特征，无需像线性模型那样进行复杂的预处理（如One-Hot）。预测阶段速度快：虽然训练慢，但预测过程就是遍历几棵树，速度非常快。缺点：训练过程串行，无法并行：因为每一棵树都在学习前一棵树的残差，训练过程是顺序的，训练速度较慢。不适合超大规模稀疏特征。
机器学习——梯度提升决策树（GBDT）
热门推荐
beiye_的博客
04-02 1万+
机器学习——梯度提升决策树（GBDT）
GBDT：梯度提升决策树
jbcsimple
08-10 6902
GBDT：梯度提升决策树 字数2887 阅读1208 评论0 喜欢2 综述   GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。   
GBDT提升树
weixin_46556352的博客
04-05 982
1. 提升树¶ 梯度提升树（Grandient Boosting）是提升树（Boosting Tree）的一种改进算法，所以在讲梯度提升树之前先来说一下提升树。 先来个通俗理解：假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁拟合剩下的差距，差距就只有一岁了。如果我们的迭代轮数还没有完，可以继续迭代下面，每一轮迭代，拟合的岁数误差都会减小。最后将每次拟合的岁数加起来便是模型输出的结果。 上面提到的残差是什么呢？ 假设:
GBDT代码文章实现：5.机器学习-梯度提升决策树（GBDT）
04-29
GBDT代码文章实现：5.机器学习——梯度提升决策树（GBDT）
机器学习6--GBDT 梯度提升决策树
m0_57280180的博客
03-11 1122
GBDT与传统的Boosting区别较大，它的每一次计算都是为了减少上一次的残差，而为了消除残差，我们可以在残差减小的梯度方向上建立模型，所以说，在GradientBoost中，每个新的模型的建立是为了使得之前的模型的残差往梯度下降 的方向，与传统的Boosting中关注正确错误的样本加权有这很大的区别在GrandientBoosting算法中，关键就是利用损失函数的负梯度方向在当前模型的值作为残差的近似值，进而拟合一棵CART回归树。
Scikit-Learn梯度提升决策树（GBDT）
Java/Python大数据随笔
06-20 1616
梯度提升决策树（Gradient Boosting Decision Tree，GBDT）是一种迭代的决策树算法，它通过构造一组弱学习器（决策树），并把多颗决策树的结果累加起来作为最终的预测输出。在每一轮迭代中，GBDT都会训练一棵新的决策树，目标是减少上一轮模型的残差。Boosting的基本思路是将基分类器层层叠加，每一层在训练的时候，对前一层基分类器分错的样本，给予更高的权重。负梯度方向是梯度下降最快的方向。GBDT的核心点在于不断迭代，每一轮迭代都尝试修正上一轮模型的错误，逐渐提高模型的预测性能。
机器学习 项目介绍 MATLAB实现基于GBDT-SVM 梯度提升决策树（GBDT）结合支持向量机（SVM）进行多特征分类预测的详细项目实例（含模型描述及部分示例代码）
最新发布
10-17
通过结合梯度提升决策树（GBDT）的强大特征提取能力和支持向量机（SVM）的高精度分类能力，构建了一种高效的两阶段集成学习框架。文章系统阐述了项目背景、目标意义、面临挑战及其解决方案，并深入解析了模型架构，...
笔记︱决策树族——梯度提升树(GBDT）
素质云笔记
06-08 7464
  每每以为攀得众山小，可、每每又切实来到起点，大牛们，缓缓脚步来俺笔记葩分享一下吧，please~ ———————————————————————————   本笔记来源于CDA DSC，L2-R语言课程所学进行的总结。       一、介绍：梯度提升树（Gradient Boost Decision Tree） Boosting算法和树模型的结合。按次序建立多棵树，每棵树...
梯度提升决策树（Gradient Boosting Decision Trees，GBDT）
Gaowang_1的博客
01-09 1575
​ 提升树是以分类树或回归树为基本分类器的提升方法。提升树被认为是统计学习 中性能最好的方法之一。​ 提升方法实际采用。以决策树为基函数的提升方法称为提升树 （boosting tree）。对决策树是， 对决策树是。：线性可分训练数据集T{(x1​y1​x2​y2​xN​yN​)}​ 其中，xi​∈XRnyi​∈Yi12N；弱学习算法：提升树fM​x​ 不同问题的提升树学习算法，其主要区别在于使用的损失函数不同。
梯度提升决策树（GBDT）
SQL__Learning的博客
06-09 2311
GBDT（Gradient Boosting Decision Tree），全名叫梯度提升决策树，是一种迭代的决策树算法，又叫 MART（Multiple Additive Regression Tree），它通过构造一组弱的学习器（树），并把多颗决策树的结果累加起来作为最终的预测输出。该算法将决策树与集成思想进行了有效的结合。
机器学习-集成学习-梯度提升决策树（GBDT）
数据客
01-01 4399
提升树（Boosting Tree）是以分类树或者回归树位基本分类器到提升方法，提升树被认为是统计学习中性能最好的方法之一 Boosting方法训练基分类器时采用串行的方式，各个基分类器之间有依赖。它的基本思路是将基分类器层层叠加，每一层在训练的时候，对前一层基分类器分错的样本，给予更高的权重（Ada Boosting），或者让新的预测器对前一个预测器到残差进行拟合（GBDT）。预测时，根据各层分类器的结果的加权得到最终结果。
【深度学习入门_机器学习理论】梯度提升决策树（GBDT）
qq_35312463的博客
03-22 1970
GBDT（Gradient Boosting Decision Tree），全名叫梯度提升决策树，是一种迭代的决策树算法，它通过构造一组弱的学习器（树），并把多颗决策树的结果累加起来作为最终的预测输出。该算法将决策树与集成思想进行了有效的结合。GBDT顾名思义由两个部分组成，即梯度提升（Gradient Boosting）和决策树（Decision Tree），二者相互取长补短，得到更强的学习器。
十大机器学习算法-梯度提升决策树（GBDT）
zjwreal
06-01 5235
todo
GBDT（Gradient Boosting Decision Tree，梯度提升决策树）总结梳理
qq_39084101的博客
08-27 977
GBDT是一种基于决策树的Boosting集成算法，通过串行训练多棵浅层回归树来逐步优化模型。其核心思想是：每轮用新树拟合损失函数的负梯度（错误信号），以加法方式累积预测结果。相比随机森林等Bagging方法，GBDT更擅长降低模型偏差，适用于回归、分类和排序任务。优势包括强非线性拟合能力、特征重要性输出和不依赖特征归一化，但对异常值敏感且训练速度较慢。XGBoost和LightGBM是其优化版本，引入了二阶导数和并行计算等改进。实际应用中需注意调整学习率、树深度等参数防止过拟合。
3. 梯度提升决策树（GBDT）详解
gss123_123的博客
05-23 6236
一、提升树 二、梯度下降 三、梯度提升树（GBDT） 附录： 1.机器学习之梯度提升决策树(GBDT)_谓之小一的博客-优快云博客_梯度提升决策树 2.GBDT的原理、公式推导、Python实现、可视化和应用 - 知乎 3. 《统计学习方法 第二版》.李航 ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值