Gradient Boosting算法原理分析，公式推导

最新推荐文章于 2025-04-25 14:11:15 发布
最新推荐文章于 2025-04-25 14:11:15 发布
阅读量1k 收藏 5
点赞数
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41552582/article/details/114850897
版权
本文深入探讨了Gradient Boosting的基本原理，解释了它如何通过串行构建弱学习器来降低损失。每个弱学习器的目标是拟合先前模型损失的负梯度，从而实现整体损失的快速降低。文中还介绍了算法的公式推导，并指出当使用平方损失函数时，弱学习器实际上在拟合残差。最后，讨论了GBDT（Gradient Boosting Decision Tree）及其在回归和分类问题中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Boosting 是集成学习中非常重要的一类算法，其基本原理是串行生成一系列弱学习器（weak learner），这些弱学习器直接通过组合到一起构成最终的模型。主要的算法包括 AdaBoost 和 Gradient Boosting

 

基本思想

Gradient Boosting 的基本思想是：串行地生成多个弱学习器，每个弱学习器的目标是拟合先前累加模型损失的负梯度， 使得加上该弱学习器后的累加模型损失往先前累加模型损失的负梯度方向减少。因为是往负梯度方向，所以整体模型的损失降低的最快，因此每个弱学习器的训练目标就是拟合先前累加模型损失的负梯度

 

公式推导

假设有训练样本 x_i，y_i，y_i，

最低0.47元/天 解锁文章
Python机器学习实战：梯度提升树(Gradient Boosting)算法深入理解
AI天才研究院
07-21 472
随着机器学习技术的快速发展，越来越多的算法被提出并应用于实际场景中。其中，梯度提升树（Gradient Boosting）因其出色的性能和易于理解的特点，成为了近年来机器学习领域的热点。本文将深入探讨梯度提升树算法的原理、实现和应用。梯度提升树算法的核心思想是使用损失函数的梯度来指导决策树的构建。在每一步迭代中，算法通过最小化损失函数来优化决策树的参数，从而逐步构建一棵性能更好的树模型。梯度提升树算法作为一种高效的集成学习方法，在机器学习领域得到了广泛应用。
【机器学习】十五、Gradient boosting算法原理详解
Asher117的博客
12-14 7795
上篇文章分享了AdaBoost的算法原理，这篇文章将讲解Boosting家族中的梯度提升算法(Gradient boosting)。建议看本文之前，先看一下AdaBoost算法的原理。码字不易，喜欢请点赞！！！ 目录1.梯度提升算法简介2.GBDT回归3.GBDT分类4.GBDT优缺点 1.梯度提升算法简介 2.GBDT回归 3.GBDT分类 4.GBDT优缺点 参考文献 ...
集成学习（三）Gradient Boosting算法
guofei_fly的博客
11-24 961
一、算法的引出 在集成学习框架中，机器学习模型可写成各子学习器的组合： G(x)=∑m=1Mαmgm(x)G(x)=\sum\limits_{m=1}^M\alpha _mg_m(x)G(x)=m=1∑M​αm​gm​(x)在AdaBoost算法中提供了一种解读Boosting框架的视角，即每一轮子学习器基于上一轮子学习器的表现来调节样本权重，实现模型效果的提升。 但实质上，由于相邻两个子学习器...
从头了解Gradient Boosting算法
52AI人工智能
12-22 1945
目的虽然大多数Kaggle竞赛获胜者使用各种模型的叠加/集合，但是一个特定的模式是大部分集合的部分是梯度提升（GBM）算法的一些变体。以最新的Kaggle比赛获胜者为例：Michael Jahrer的解决方案是在安全驾驶的预测中的表示学习。他的解决方案是6个模型的混合。1 个LightGBM（GBM的变体）和5个神经网络。虽然他的成功归因于他为结构化数据发明的新的半监督学习，但梯度提升模型也发挥了
梯度提升回归器详解：带有代码示例的可视化指南
一个不怎么正经的算法工程师的博客~不定期更新一些我所覆盖领域的干货~~~包你满意噢~~
04-11 843
在机器学习领域，我们都盼着预测结果能精准无误。一开始，简单的决策树帮我们开了个好头，效果还算差强人意。紧接着，随机森林和AdaBoost横空出世，预测表现更上一层楼。然而，的出现，彻底改写了游戏规则，让预测精度实现了质的飞跃。有人说：“之所以效果拔群，背后的原理其实挺简单：它会接连构建一个又一个模型，每一个新模型都一门心思去修正前面所有模型犯下的错误。这种循序渐进纠错的方式，就是它的独特魅力所在。
梯度提升（Gradient Boosting）算法
weixin_39910711的博客
04-27 1万+
目录 1 引言 2 梯度下降法 3梯度提升算法 4梯度提升原理推导 5对梯度提升算法的若干思考 5.1梯度提升与梯度下降的区别和联系是什么？ 5.2梯度提升和提升树算法的区别和联系？ 5.3梯度提升和GBDT的区别和联系？ 5.4 梯度提升算法包含哪些算法？ 5.5对于一般损失函数而言，为什么可以利用损失函数的负梯度在当前模型的值作为梯度提升算法中残差的近似值呢？ 1 引言 提升树利用加法模型与前向分歩算法实现学习的优化过程。当损失函数是平方误差损失...
Gradient Boosting算法理论
wong2016的博客
03-27 5623
机器学习训练营——机器学习爱好者的自由交流空间（qq群号：696721295） 介绍 梯度提升(Gradient Boosting)是一种用于回归和分类问题的机器学习技术。它集成弱预测模型，典型的是决策树，产生一个强预测模型。该方法分阶段建立弱模型，在每个阶段通过优化一个任意可微的损失函数建立弱模型。下面，我们以简单的最小二乘回归解释梯度提升法的原理。 最小二乘法的目标是，通过最小化均方误差 ...
【机器学习】Boosting算法-梯度提升算法（Gradient Boosting）
热门推荐
cxyhjl的博客
12-24 1万+
一、原理梯度提升算法是一种集成学习方法，它可以将多个弱分类器或回归器组合成一个强分类器或回归器，提高预测性能。梯度提升算法的核心思想是利用损失函数的负梯度作为残差的近似值，然后用一个基学习器拟合这个残差，再将其加到之前的模型上，从而不断地减小损失函数的值。梯度提升算法有以下几个特点：梯度提升算法可以用任何可微分的损失函数，如平方误差、绝对误差、交叉熵等，这使得它比其他基于指数损失函数的算法更加灵活...
（ 保证能看懂系列）集成算法之Boosting - GBDT回归算法 手推原理 以及 python 实现
Lee_Yu_Rui的博客
07-14 1010
Gradient boosting Adaboost采用的是通过增加每个错分点的权重，减小对分点的权重，并且为每个弱分类器设置权重来获得最终的分类结果的。和Adaboost不同的是，Gradient boosting算法是通过不断拟合上一轮损失函数的负梯度来训练这一轮的学习器，其实就是将上一轮的损失函数的负梯度（在这里称为伪残差）作为训练数据的真实值，去拟合真实值。GBDT就是将弱分类器设为CART的Gradient boosting算法。 问题1. 如何理解“算法是通过不断拟合上一轮损失函数的负梯度来
XGBoost（eXtreme Gradient Boosting）
最新发布
Rhett_Butler0922的博客
04-25 733
XGBoost 是一种基于梯度提升（Gradient Boosting）的机器学习算法，由陈天奇（Tianqi Chen）于2014年提出。它结合了决策树（CART，分类与回归树）和梯度提升的思想，通过集成学习构建强大的预测模型。XGBoost 以其高效性、准确性和灵活性在数据科学竞赛（如Kaggle）和工业应用中广受欢迎。XGBoost 是一种高效、灵活且强大的机器学习算法，基于梯度提升和决策树，适用于结构化数据的多种任务。其核心优势在于二阶梯度优化、正则化、并行计算和对缺失值的鲁棒性。
boosting算法
02-21
boosting 算法
Boosting 系列算法——4. Gradient Boosting
Kanny
12-19 1291
1. 算法导出 Gradient Boosting 是一种用于回归和分类问题的机器学习技术，其产生的预测模型是弱预测模型的集成，如采用典型的决策树 作为弱预测模型，这时则为梯度提升树（GBT或GBDT）。像其他提升方法一样，它以分阶段的方式构建模型，但它通过允许对任意可微分损失函数进行优化作为对一般提升方法的推广。 Gradient Boosting 算法通过迭代的方式，将多个弱分类器结合成一个强分类器。最简单的解释是在最小二乘回归中，通过最小化均方误差1N∑i(y^i−yi)2{\tfrac {1}{N}
Gradient Boosting算法
weixin_46072106的博客
12-18 1451
重启
梯度提升(gradient boosting)算法
FeynmanWang的博客
07-28 1428
算法：\qquad 输入：训练数据集 T={(x1,y1),(x2,y2),⋯,(xN,yN)},xi∈Rn,yi∈R；损失函数L(y,f(x));T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\},x_i\in\Bbb R^n,y_i\in\Bbb R\text{；损失函数} L(y,f(x)); \qquad 输出：回归树 f^(x)\hat f(x) .
GBDT(Gradient Boosting Decision Tree)基本原理
weixin_33898876的博客
11-23 677
GBDT相对于经典的决策树，算是一种比较成熟而且可以实际应用的决策树算法了。我们想要理解GBDT这种决策树，得先从感性上理解这棵树的工作方式。首先我们要了解到，DBDT是一种回归树(Regression Decision tree)。回归树与分类树的差距请看我的文章《经典的回归树算法》。我们知道，分类树在每一次分支的时候，穷举每一个特征的每一个阈值，然后按照大于或者小于阈值的方式将其相互分开。这就...
梯度提升树（Gradient Boosting Tree）算法原理
莲君
06-22 3926
一 计算过程： 输入： *(xi,yi),T,L(x_i,y_i),T,L(xi​,yi​),T,L 1.初始化f0f_0f0​ 2.for t=1 to T do 2.1. 计算响应：yi^=−[∂L(yi,F(xi))∂F(xi)]F(x)=Ft−1(x)\hat{y_i}=-[\frac{\partial L(y_i,F(x_i))} {\partial F(x_i)}]_{F(x)=F_{...
Gradient Boosting 和 AdaBoost 的推导
Alex的博客
06-08 669
最近看到集成学习的部分，觉得推导有点难，稍微写一写，主要参考李宏毅老师的深度学习2019课程和周志华老师的《机器学习》，这里只关注Gradient Boosting 和 AdaBoost 的推导，理清一下思路。 Gradient Boosting 本身不是一个固定的算法，非常抽象，叫这个名字的原因个人觉得只是用了梯度下降的思想去解释提升这件事情，我们一步一步将整个框架搭建起来。首先，集成学习需要训...
Boosting for PRML
VergiL Wang的专栏
05-26 174
Boosting方法： Boosting这其实思想相当的简单，大概是，对一份数据，建立M个模型（比如分类），一般这种模型比较简单，称为弱分类器(weak learner)每次分类都将上一次分错的数据权重提高一点再进行分类，这样最终得到的分类器在测试数据与训练数据上都可以得到比较好的成绩。 上图（图片来自prml p660）就是一个Boosting的过程，绿色的线表示目前取得的模型（模型是...
xgboost原理公式推导
03-23
XGBoost（eXtreme Gradient Boosting）是一种基于梯度提升树的机器学习算法，它在各种机器学习竞赛中表现出色。下面是XGBoost的原理和公式推导： 1. 原理： XGBoost是一种集成学习算法，通过组合多个弱学习器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值