GBDT推导

最新推荐文章于 2025-05-28 23:10:29 发布
最新推荐文章于 2025-05-28 23:10:29 发布
阅读量5.8k 收藏 5
点赞数 2
CC 4.0 BY-SA版权
分类专栏： data structure & algorithm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012332571/article/details/58587478
GBDT（Gradient Boosting Decision Tree）是一种提升方法，通过结合多个弱预测器构建强预测器。本文介绍了GBDT的算法原理，特别是回归问题中采用的最小二乘法。并探讨了GBDT的并行化实现，包括按行样本并行化和特征分裂点计算的并行化，以提高计算效率。同时提出，通过特征值直方图采样可以优化寻找最优分裂点的过程，避免遍历所有特征值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

boosting是提升的意思





这是算法部分，看例题

了解本专栏 订阅专栏 解锁全文 超级会员免费看
梯度提升树（GBDT）详解之三：原理推导
白马负金羁
04-02 5527
本文是GBDT系列文章的最后一弹，它将侧重梯度提升树的原理及其中的数学推导。梯度提升是一种用于回归和分类问题的机器学习技术，其产生的预测模型是弱预测模型的集成，如采用典型的决策树作为弱预测模型，这时则得到了所谓的梯度提升树（GBDT）。GBDT是在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一，它也是集成学习里的经典算法
GBDT推导-拟合负梯度和残差
猫哥
08-26 2475
梯度提升树-为什么拟合负梯度 将学习器F看做一个参数，损失函数为 L(y,F)L(y,F)L(y,F)，为使L损失最小，采用梯度下降法： Fm=Fm−1−dLdF F_m=F_{m-1}-\frac{dL}{dF} Fm​=Fm−1​−dFdL​ 提升树采用加法模型（基函数的线性组合）与前向分布算法： Fm=Fm−1+T F_m=F_{m-1}+T Fm​=Fm−1​+T T为训练的新树，所以有：...
GBDT推导（林轩田）
TTdreamloong的博客
03-13 1318
第二节林从优化的角度推导了Adaboost，本人不才，没有看懂，可跳过 一、RandomForest Vs AdaBoost-DTree RF随机森林算法：通过bootstrapping有放回的抽样获取不同的训练数据Dt，不同的Dt可同时并行化生成多棵决策树最后将多棵决策树‘一人一票’的方式结合生成G。 AdaBoost-DTree：通多重赋权reweight（样本权重Ut）的方式获取不同的...
【机器学习基础】机器学习入门核心算法：GBDT（Gradient Boosting Decision Tree）
weixin_43988131的博客
05-28 1004
机器学习入门核心算法：GBDT（Gradient Boosting Decision Tree）
【 GBDT算法】 机器学习实例推导计算+公式详细过程 （入门必备）
On the road
12-17 1万+
机器学习 【 GBDT算法】 知识准备： arg 是变元（即自变量argument）的英文缩写。 arg min 就是使后面这个式子达到最小值时的变量的取值 arg max 就是使后面这个式子达到最大值时的变量的取值 例如 函数F(x,y): arg min F(x,y)就是指当F(x,y)取得最小值时，变量x,y的取值 arg max F(x,y)就是指当F(x,y)取...
gbdt算法_算法思想与硬核推导：GBDT
weixin_39528029的博客
11-30 199
概括醒心：算法理念与硬核推导：AdaBoost下（从AdaBoost回归到GBDT回归）​zhuanlan.zhihu.com上篇文章简单介绍了损失函数为平方损失的GBDT模型，并介绍了二分类AdaBoost与GBDT的关系，此篇文章重点介绍GBDT回归的总体思想（GBDT直接做二分类可得树桩AdaBoost）。AdaBoost在前向分步求解时由于基学习器输出是+-1，可直接确定损失最小时的本轮拟...
gbdt到xgboost的一些理论推导.rar
05-05
标题中的“gbdt到xgboost的一些理论推导”指的是从梯度提升决策树（Gradient Boosting Decision Tree, GBDT）过渡到XGBoost这一机器学习算法的过程。GBDT和XGBoost都是用于回归和分类任务的集成学习方法，它们在实际...
【GBDT模型】{0} —— GBDT模型简介及数学推导
Giyn
08-01 1657
什么是 GBDTGBDTGBDT ？ GBDTGBDTGBDT 是机器学习领域中浅层模型的优秀模型，也是各大数据挖掘比赛中经常出现的框架，其全称是 GradientBoostingDecisionTreeGradient Boosting Decision TreeGradientBoostingDecisionTree，中文名是梯度提升树。 在学习 GBDT 前，先普及一下关于 BoostingBoostingBoosting 的概念和性质： BoostingBoostingBoosting Boost
机器学习 | 详解GBDT在分类场景中的应用原理与公式推导
TechFlow的博客
08-17 531
本文始发于个人公众号：TechFlow，原创不易，求个关注 今天是机器学习专题的第31篇文章，我们一起继续来聊聊GBDT模型。 在上一篇文章当中，我们学习了GBDT这个模型在回归问题当中的原理。GBDT最大的特点就是对于损失函数的降低不是通过调整模型当中已有的参数实现的，若是通过训练新的CART决策树来逼近的。也就是说是通过增加参数而不是调整参数来逼近损失函数最低点。 如果对于这部分不是很理解的话，可以通过下方的链接回顾一下之前的内容： 机器学习 | 详解GBDT梯度提升树原理，看完再也不怕面试了 逻辑
原始GBDT推导
格物致知
10-16 3273
GBDT采用的是数值优化的思维, 用的最速下降法去求解Loss Function的最优解, 其中用CART决策树去拟合负梯度, 用牛顿法求步长. XGboost用的解析的思维, 对Loss Function展开到二阶近似, 求得解析解, 用解析解作为Gain来建立决策树, 使得Loss Function最优.
GBDT原始论文
04-23
最早提出GBDT思想的论文，很多GBDT的原理在里面都已经系统性地进行了阐述，比看博客要更系统
GBDT
Tomcat的专栏
08-30 2214
GBDT的两个不同版本（重要） 残差版本把GBDT说成一个残差迭代树，认为每一棵回归树都在学习前N-1棵树的残差。 Gradient版本把GBDT说成一个梯度迭代树，使用梯度下降法求解，认为每一棵回归树在学习前N-1棵树的梯度下降值。 GBDT中的Tree是回归树，不是分类决策树 Ref 【原创】GBDT（MART）概念简介...
LightGbm之直方图优化理解
weixin_34306676的博客
09-08 446
简单介绍一下吧，lightgbm是微软推出的gbdt相关的机器学习库，一开源就受到很多开发者的喜爱吧，主要是运行速度快并且节省内存，同时训练的精度也很高，感觉集中了所有的优势。在此之前用陈天奇的xgboost居多，也是神器。xgboost采用了预排序的方法来处理节点分裂，在计算机领域要么就是空间换时间，或者时间换空间(这个也不是绝对，你可以通过某种特殊的方法两者都可以达到你想要的效果)，xgboo...
GBDT 算法的原理推导
彬彬侠的博客
11-01 1592
GBDT的全称为梯度提升决策树（gradient boosting decision tree），本文通过详细的数学公式变换做了算法的原理推导。
大白话GBDT算法-通俗理解GBDT原理
06-25
本课程分为4个模块。第一个模块通过预测年龄的直观案例理解GBDT算法流程。第二个模块通过GBDT的三要素：GB(梯度提升)，DT(回归树)和Shrinkage(缩减)理解GBDT的算法核心。第三个模块通过剖析分类和回归损失函数来讲解GBDT在分类和回归方面的应用。第四个模块通过手动方式一步步拆解讲解GBDT回归，二分类，多分类的过程，还原真实迭代流程。第五个模块通过真实案例讲解GBDT的工作中所用API。资料： 视频：
GBDT算法原理
qq_43596996的博客
06-23 2985
一、什么是GBDT 到底什么是梯度提升树？所谓的GBDT实际上就是： GBDT = Gradient Descent + Boosting + Desicion Tree 与Adaboost算法类似，GBDT也是使用了前向分布算法的加法模型。只不过弱学习器限定了只能使用CART回归树模型，同时迭代思路和Adaboost也有所不同。 在Adaboost算法中，我们是利用前一轮迭代弱学习器的误差率来更新训练集的权重。而Gradient Boosting是通过算梯度（gradient）来定位模型的不足。 首先举
集成学习之GBDT超详细推导
爱吃火锅的博客
12-12 1万+
继上篇介绍的集成学习大框架后https://blog.youkuaiyun.com/weixin_42001089/article/details/84935462 本文介绍其框架里面的GBDT。 原论文：https://statweb.stanford.edu/~jhf/ftp/trebst.pdf ---------------------------------------------------...
理解GBDT算法（一）——理论
热门推荐
bigfacesafdasgfewgf
12-16 3万+
这篇讲到的GBDT的基本思想是“积跬步以至千里”！也就是说我每次都只学习一点，然后一步步的接近最终要预测的值（完全是gradient的思想~）。换句话来说，我们先用一个初始值来学习一棵决策树，叶子处可以得到预测的值，以及预测之后的残差，然后后面的决策树就要基于前面决策树的残差来学习，直到预测值和真实值的残差为零。最后对于测试样本的预测值，就是前面许多棵决策树预测值的累加。整个过程都是每次学习一点（真实值的一部分），最后累加，所以叫做“积跬步以至千里”！
gbdt算法原理
最新发布
08-01
GBDT（Gradient Boosting Decision Tree）是一种集成学习方法，它通过迭代的方式构建多棵决策树，每棵树都试图修正前一棵树的错误。GBDT的核心思想是利用梯度下降法来最小化损失函数，从而逐步逼近最优解。下面将详细解释GBDT的工作原理及其工作机制。 ### 1. GBDT的基本概念 GBDT是由多个决策树组成的强学习器，每个决策树被称为基学习器。GBDT通过加法模型的形式将这些基学习器组合起来，最终的预测结果是所有基学习器的加权和。GBDT可以用于回归问题和分类问题，其中回归问题通常使用CART回归树，而分类问题则使用CART分类树。 ### 2. GBDT的工作机制 GBDT的工作机制可以分为以下几个步骤： #### 2.1 初始化模型 GBDT的初始模型是一个简单的常数，通常是目标变量的均值（对于回归问题）或对数几率（对于分类问题）。这个初始模型作为后续迭代的基础。 #### 2.2 计算负梯度 在每一轮迭代中，GBDT计算当前模型的预测值与真实值之间的残差（即负梯度）。这个残差表示了当前模型在哪些地方犯了错误，需要通过新的决策树来进行修正。 #### 2.3 构建决策树 根据计算出的负梯度，构建一棵新的决策树。这棵树的目标是尽可能好地拟合这些残差。决策树的构建过程与传统的决策树类似，但在这里，分裂节点的标准是使得残差的平方损失最小化。 #### 2.4 更新模型 将新构建的决策树加入到现有的模型中，形成新的模型。更新的方式是将新树的预测值乘以一个学习率（learning rate），然后加到现有模型的预测值上。学习率控制了每一步更新的幅度，有助于防止过拟合。 #### 2.5 重复迭代 重复上述步骤，直到达到预定的迭代次数或模型性能不再显著提升为止。每次迭代都会生成一棵新的决策树，这些树共同构成了最终的GBDT模型。 ### 3. GBDT的数学推导 假设我们有一个训练集 $ \{(x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n)\} $，其中 $ x_i $ 是输入特征向量，$ y_i $ 是对应的标签值。GBDT的目标是找到一个函数 $ F(x) $，使得损失函数 $ L(y, F(x)) $ 最小化。 GBDT通过加法模型的形式表示 $ F(x) $： $$ F(x) = \sum_{m=1}^{M} \gamma_m h_m(x) $$ 其中 $ h_m(x) $ 是第 $ m $ 棵决策树，$ \gamma_m $ 是该树的权重，$ M $ 是树的总数。 在每一轮迭代中，GBDT计算当前模型的负梯度： $$ r_i = -\left[ \frac{\partial L(y_i, F(x_i))}{\partial F(x_i)} \right]_{F(x) = F_{m-1}(x)} $$ 然后，使用这些负梯度 $ r_i $ 作为新的标签值，构建第 $ m $ 棵决策树 $ h_m(x) $。最后，更新模型： $$ F_m(x) = F_{m-1}(x) + \eta \cdot \gamma_m h_m(x) $$ 其中 $ \eta $ 是学习率，用于控制每一步更新的幅度。 ### 4. GBDT的优势 GBDT之所以在许多机器学习任务中表现出色，主要归功于以下几个优势： - **高精度**：GBDT通过不断修正前一棵树的错误，能够在复杂的数据集上取得较高的预测精度。 - **自动特征组合**：决策树能够自动组合多个特征，发现特征之间的非线性关系。 - **处理缺失值**：决策树算法可以很好地处理字段缺失的数据，无需额外的预处理。 - **较少的特征工程**：GBDT对特征的要求较低，可以不用做特征标准化，也不必关心特征间是否相互依赖。 ### 5. GBDT的应用场景 GBDT广泛应用于各种机器学习任务中，包括但不限于： - **回归问题**：如房价预测、销量预测等。 - **分类问题**：如用户流失预测、广告点击率预测等。 - **推荐系统**：如个性化推荐、排序模型等。 ### 6. GBDT的实现示例 以下是一个简单的GBDT回归模型的Python实现示例： ```python from sklearn.ensemble import GradientBoostingRegressor from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error import numpy as np # 生成示例数据 np.random.seed(0) X = np.random.rand(100, 10) y = np.sin(X[:, 0]) + np.random.normal(0, 0.1, 100) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 创建GBDT回归模型 gbdt = GradientBoostingRegressor(n_estimators=100, learning_rate=0.1, max_depth=3, random_state=42) # 训练模型 gbdt.fit(X_train, y_train) # 预测 y_pred = gbdt.predict(X_test) # 评估模型 mse = mean_squared_error(y_test, y_pred) print(f"Mean Squared Error: {mse}") ``` ###
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值