GBDT算法步骤

最新推荐文章于 2025-08-27 15:48:34 发布
原创 最新推荐文章于 2025-08-27 15:48:34 发布 · 4.9k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#GBDT #机器学习

本文详细介绍了GBDT（Gradient Boosting Decision Tree）算法的步骤，包括初始化估计值、Logistic变换、概率梯度计算、构建回归树、计算增益和更新样本估计值等。通过对每个样本的梯度下降法学习，不断优化模型，最终实现多类分类。

说明：本篇文章是参看文章结尾相关博客写的读书笔记。

GBDT算法步骤：

k：表示待分类的类别，一共有K个类别。

m：表示迭代次数，一共迭代M次。

i：表示样本编号，一共有N个样本。

Fk0(x)：表示样本x在第k个分类下的估值，是一个k维的向量。下表0表示第0次迭代。例如：假设输入数据x可能属于5个分类（分别为1,2,3,4,5），训练数据中，x属于类别3，则y = (0, 0, 1, 0, 0)，假设模型估计得到的F(x) = (0, 0.3, 0.6, 0, 0)。也可以理解为F1(x) =0, F2(x) =0.3, F3(x)=0.6, F4(x) =0, F5(x) =0。

 

（1）初始化所有样本在K个类别上的估计值

说明：Fk0(x) = 0， k=1,2,…K。 这其实是对样本x，在所有类别上的分别给出的估计，其实是一个for循环操作，这样写为了看起来简洁。如上所示，就是一个向量。

 

循环下面的学习更新过程M次；


（2）对每个样本的函数估计值做logistic变换

pk(x)：

最低0.47元/天 解锁文章
GBDT算法原理及步骤
huixin123456789的博客
04-22 793
GBDT方法：从弱学习器出发，训练一系列基分类器，利用加法模型组合起来最终构成一个强分类器，每个基分类器拟合损失函数的负梯度值。加法模型：GBDT基分类器采用CART决策树，树的分裂准则：用于分类时，分裂准则采用基尼指数；用于回归时，分裂准则采用均方误差，即MSE，也可采用MAE或Friedman_MSE(改进型MSE）。GBDT回归用于回归时，损失函数选用： 此时负梯度值为：叶子节点值：初始化：...
GBDT的算法流程
易_水寒的博客
09-23 3669
GB和GBDT 算法流程及分析 1、优化模型的两种策略： 1）基于残差的方法 残差其实就是真实值和预测值之间的差值，在学习的过程中，首先学习一颗回归树，然后将“真实值-预测值”得到残差，再把残差作为一个学习目标，学习下一棵回归树，依次类推，直到残差小于某个接近0的阀值或回归树数目达到某一阀值。其核心思想是每轮通过拟合残差来降低损失函数。 　　总的来说，第一棵树是正常的，之后所有的树的决策全是由残差来决定。 2）使用梯度下降算法减小损失函数。 对于一般损失函数，为了使其取得最小值，通过梯度下降算法，每次朝着损
GBDT（Gradient Boosting Decision Tree，梯度提升决策树）总结梳理
最新发布
qq_39084101的博客
08-27 902
GBDT是一种基于决策树的Boosting集成算法，通过串行训练多棵浅层回归树来逐步优化模型。其核心思想是：每轮用新树拟合损失函数的负梯度（错误信号），以加法方式累积预测结果。相比随机森林等Bagging方法，GBDT更擅长降低模型偏差，适用于回归、分类和排序任务。优势包括强非线性拟合能力、特征重要性输出和不依赖特征归一化，但对异常值敏感且训练速度较慢。XGBoost和LightGBM是其优化版本，引入了二阶导数和并行计算等改进。实际应用中需注意调整学习率、树深度等参数防止过拟合。
GBDT算法
PanDawson的博客
03-19 4508
GBDT算法 Gradient Boosting Decision Tree 以梯度为优化目标，以提升为手段（前面讲到的集成算法中的串联），基础模型为决策树（这里用的是回归树）的算法 GBDT简单来说，就是用多个树串联，提升模型的效果 以下是学习唐宇迪老师的GBDT算法的理解，文末有其他直接更详细的的关于GBDT算法的实现 回归树的形式是CART 即二叉树 使用回归树做分类和回归都...
gbdt算法公式.docx
03-23
GBDT算法步骤 GBDT算法的步骤可以分为以下几个部分： 1. 初始化：初始化模型参数和决策树集成个数。 2. 遍历每个样本：计算每个样本的梯度值rti。 3. 构建决策树：使用 CART 算法构建决策树。 4. 更新模型参数：...
gbdt算法实现
12-12
C语言虽然没有内置的高级数据结构和库支持，但其底层操作的效率和灵活性使得它可以实现高效的GBDT算法。 在提供的压缩包文件列表中，"gbdt"可能是源代码文件的集合，可能包含了上述步骤的实现。通常，这些文件会...
R语言编写的GBDT算法
03-15
### R语言编写的GBDT算法知识点详解 #### 一、GBDT算法简介 梯度提升决策树（Gradient Boosting Decision Tree, GBDT）是一种基于机器学习中的集成学习方法，通过构建多棵弱分类器（通常是决策树）并进行加权组合...
GBDT算法（最简单）
程序猿进化梯
10-19 9308
https://github.com/NLP-LOVE/ML-NLP/blob/master/Machine%20Learning/3.2%20GBDT/3.2%20GBDT.md 1. 解释一下GBDT算法的过程 GBDT(Gradient Boosting Decision Tree)，全名叫梯度提升决策树，使用的是Boosting的思想。 1.1 Boosting思想 Boosting方法训练基分类器时采用串行的方式，各个基分类器之间有依赖。它的基本思路是将基分类器层层叠加，每一层在训练的时候，对前一
机器学习-GBDT算法
m0_73426548的博客
03-06 1110
GBDT 通过梯度优化残差的机制，在结构化数据领域表现优异，是竞赛和工业界常用的算法之一。尽管存在训练速度和调参的挑战，但其改进版本（如 XGBoost、LightGBM）通过工程优化显著提升了效率，使其在实际应用中更具竞争力。
GBDT算法 (串行)
qq_43703185的博客
06-10 382
原文链接:https://blog.youkuaiyun.com/qq_40229367/article/details/88654293 GBDT算法 Gradient Boosting Decision Tree 以梯度为优化目标，以提升为手段（前面讲到的集成算法中的串联），基础模型为决策树（这里用的是回归树）
机器学习技法-GBDT算法
weixin_30256901的博客
04-07 167
课程地址：https://class.coursera.org/ntumltwo-002/lecture 之前看过别人的竞赛视频，知道GBDT这个算法应用十分广泛。林在第八讲，简单的介绍了AdaBoost，这一讲会更深入的从优化的角度看AdaBoost，然后引出GBDT算法，最后林对最近几讲的集成学习模型（Aggregation Models）做了个很棒的总结。 一、Random...
GBDT(Gradient Boosting Decision Tree)算法介绍
故园稻香的博客
06-28 611
GBDT算法介绍
【 GBDT算法】 机器学习实例推导计算+公式详细过程 （入门必备）
热门推荐
On the road
12-17 1万+
机器学习 【 GBDT算法】 知识准备： arg 是变元（即自变量argument）的英文缩写。 arg min 就是使后面这个式子达到最小值时的变量的取值 arg max 就是使后面这个式子达到最大值时的变量的取值 例如 函数F(x,y): arg min F(x,y)就是指当F(x,y)取得最小值时，变量x,y的取值 arg max F(x,y)就是指当F(x,y)取...
编译器的主要组成部分
weixin_33963189的博客
02-23 2090
 http://blog.sina.com.cn/s/blog_13de2f64d0102vcr8.html 一个现代编译器的主要工作流程如下： 源程序（source code）→预处理器（preprocessor）→编译器（compiler）→汇编程序（assembler）→目标程序（object code）→连接器（链接器，Linker）→可执行程序（executables）   编译器的主要...
GBDT算法详解
06-13
### GBDT算法的详细原理和实现 GBDT（Gradient Boosting Decision Tree，梯度提升决策树）是一种基于决策树的集成学习方法，广泛应用于分类、回归等任务中。以下是关于GBDT算法的详细原理和实现的说明。 #### 1. GBDT的核心思想 GBDT的核心思想是通过迭代的方式构建一系列弱学习器（通常是决策树），并将这些弱学习器组合起来形成一个强学习器。每棵树都试图纠正前一棵树的残差[^1]。具体来说，GBDT通过最小化损失函数来优化模型，每次迭代都会根据当前模型的预测值计算损失函数的负梯度，并将该负梯度作为新树的训练目标。 #### 2. 损失函数与梯度下降 GBDT使用梯度下降法来最小化损失函数。对于给定的数据集 \( \{(x_i, y_i)\} \)，GBDT的目标是最小化以下损失函数： \[ L(y, F(x)) = \sum_{i=1}^N l(y_i, F(x_i)) \] 其中，\( l(y_i, F(x_i)) \) 是单个样本的损失函数，\( F(x) \) 是模型的预测值。在每一步迭代中，GBDT会计算当前模型的残差（即损失函数的负梯度），并用新的决策树拟合这些残差[^2]。 #### 3. 决策树的构建 GBDT中的每棵决策树都是基于前一棵树的残差构建的。具体步骤如下： - **初始化**：首先用常数值初始化模型 \( F_0(x) = \arg\min_\gamma \sum_{i=1}^N L(y_i, \gamma) \)。 - **迭代构建**：在第 \( m \) 次迭代中，计算残差 \( r_{im} = -\left[\frac{\partial L(y_i, F(x_i))}{\partial F(x_i)}\right]_{F(x)=F_{m-1}(x)} \)，然后用这组残差训练一棵新的决策树 \( h_m(x) \)。 - **更新模型**：将新树的预测值加入到模型中，得到更新后的模型 \( F_m(x) = F_{m-1}(x) + \nu h_m(x) \)，其中 \( \nu \) 是学习率[^3]。 #### 4. GBDT的实现 以下是一个简单的GBDT实现代码示例： ```python from sklearn.ensemble import GradientBoostingClassifier from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split # 生成数据集 X, y = make_classification(n_samples=1000, n_features=20, random_state=42) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 初始化GBDT模型 gbdt = GradientBoostingClassifier( n_estimators=100, # 树的数量 learning_rate=0.1, # 学习率 max_depth=3, # 树的最大深度 random_state=42 ) # 训练模型 gbdt.fit(X_train, y_train) # 预测 y_pred = gbdt.predict(X_test) ``` #### 5. GBDT的优点与局限性 - **优点**： - 能够处理多种类型的数据，包括连续型和离散型特征。 - 对于非线性关系具有较强的建模能力[^4]。 - 支持自定义损失函数，适用于各种任务（如分类、回归）。 - **局限性**： - 训练时间较长，尤其是在数据量较大时。 - 参数调优较为复杂，需要调整多个超参数（如树的数量、学习率、树的深度等）[^5]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值