初识GBDT回归流程

最新推荐文章于 2025-04-19 10:23:23 发布
最新推荐文章于 2025-04-19 10:23:23 发布
阅读量1.1k 收藏 6
点赞数 3
分类专栏： 算法 文章标签： GBDT 回归 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_34525938/article/details/114503469
版权
本文通过一个实例介绍GBDT回归的基本流程，包括求平均值、求残差、构建决策树、学习率调整和循环迭代。利用GBDT模型逐步逼近真实值，避免过拟合，并解释了提升树和梯度下降的概念。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、写在前面

自己对于GBDT的过程不是很了解，所以找了些资料学习了一下。这篇文章会以一个小例子，简单介绍一下用GBDT做回归的大致流程。要是能帮助你理解GBDT回归，那就再好不过了。

这篇文章主要讲述流程，数学推导后面再写篇文章讲述。

二、问题引入

算法是需要数据训练的，让我们先造一些假数据吧 😃

在这里插入图片描述

假设上面是5个男生高富帅这三个特征的数据，还有他们受女生欢迎的程度的数据。

现在呢，想用GBDT训练出一个回归模型，用于预测某个男生受女生欢迎的程度？

三、GBDT的流程

3.1 求平均值

第一步，我们用5个男生的平均值来作为第一次预测的欢迎程度，也就是 (88+86+59+67+91)/5=78.2

也就是说，不管这个男生高不高，富不富，帅不帅，我们都预测他的受女生欢迎程度是78.2分

在这里插入图片描述

至于为什么是求平均值，后面数学推导篇会讲述

最低0.47元/天 解锁文章
【树模型与集成学习】(task6)梯度提升树GBDT+LR
发现问题，并解决问题，批判性思维
11-03 908
学习总结 （1）不同问题的提升树学习算法，主要区别在于使用的损失函数不同，如用平方误差损失函数的回归问题、用指数损失函数的分类问题、用一般损失函数的一般决策问题等。 （2）由于GBDT是利用残差训练的，在预测的过程中，我们也需要把所有树的预测 值加起来，得到最终的预测结果。 【内容概要】Part D第一节和第二节 【打卡内容】侧边栏练习，知识回顾，实现gbdt的分类树和回归树 文章目录学习总结一、用于回归的GBDT1.1 函数空间的优化问题1.2 学习率1.3 另一个角度二、用于分类的GBDT2.1 拟合的
（ 保证能看懂系列）集成算法之Boosting - GBDT回归算法 手推原理 以及 python 实现
Lee_Yu_Rui的博客
07-14 1011
Gradient boosting Adaboost采用的是通过增加每个错分点的权重，减小对分点的权重，并且为每个弱分类器设置权重来获得最终的分类结果的。和Adaboost不同的是，Gradient boosting算法是通过不断拟合上一轮损失函数的负梯度来训练这一轮的学习器，其实就是将上一轮的损失函数的负梯度（在这里称为伪残差）作为训练数据的真实值，去拟合真实值。GBDT就是将弱分类器设为CART的Gradient boosting算法。 问题1. 如何理解“算法是通过不断拟合上一轮损失函数的负梯度来
gbdt算法_决策树之 GBDT 算法 - 回归部分
weixin_39760689的博客
11-30 319
GBDT(Gradient Boosting Decision Tree)是被工业界广泛使用的机器学习算法之一，它既可以解决回归问题，又可以应用在分类场景中，该算法由斯坦福统计学教授 Jerome H. Friedman 在 1999 年发表。本文中，我们主要学习 GBDT 的回归部分。在学习 GBDT 之前，你需要对 CART、AdaBoost 决策树有所了解，和 AdaBoost 类似，GBD...
超全面讲透一个算法模型，GBDT！！
最新发布
weixin_41560800的博客
04-19 1194
GBDT，全名是（Gradient Boosting Decision Tree），是一种常用的机器学习算法。和。
GBDT算法之回归算法
blinkyou001的博客
01-18 2283
GBDT，全称Gradient Boosting Decision Tree，梯度提升决策树。GBDT算法的基本思路是通过对负梯度的不断拟合，实现学习器的更新，得到最终的强学习器。当损失函数为平方损失函数时，负梯度正好等于残差，此时可通过对残差的不断拟合实现学习器的更新。本文详细讲解了GBDT回归算法的原理。
GBDT回归
ailinyingai的博客
09-12 244
from sklearn.tree import DecisionTreeRegressor from sklearn.datasets import load_boston import numpy as np import matplotlib.pyplot as plt boston=load_boston() n_samples = len(boston.target) X = bos...
GBDT：梯度提升决策树
jbcsimple
08-10 6829
GBDT：梯度提升决策树 字数2887 阅读1208 评论0 喜欢2 综述   GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。   
gbdt回归数据特征选择
08-19
- *1* *2* [初识GBDT回归流程](https://blog.youkuaiyun.com/qq_34525938/article/details/114503469)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_...
技术实践干货 | 初探大规模 GBDT 训练
AI+BI,大数据分析,数据可视化,商业智能,数据驾驶舱 - 观远数据
07-27 995
本文是此前评估在 Spark 上做大规模 GBDT 训练时写的一篇入门级教程与框架评估。目前市面上似乎没有多少使用 Spark 来跑 GBDT 的分享，故分享出来看看是否有做过类似场景的同学可以一道交流。
初识LightGBM：轻量级机器学习算法简介
在本章中，我们将深入了解LightGBM的基本原理，包括梯度提升决策树（GBDT）的简介，LightGBM的框架结构以及学习方式。让我们一起来探索吧！ # 3. LightGBM参数解析 LightGBM模型参数包括树模型参数、学习任务参数...
决策树之 GBDT 算法 - 回归部分
weixin_43650429的博客
01-14 632
GBDT（Gradient Boosting Decision Tree）是被工业界广泛使用的机器学习算法之一，它既可以解决回归问题，又可以应用在分类场景中，该算法由斯坦福统计学教授 Jerome H. Friedman 在 1999 年发表。本文中，我们主要学习 GBDT 的回归部分。 在学习 GBDT 之前，你需要对 CART、AdaBoost 决策树有所了解，和 AdaBoost 类似，...
python实现GBDT的回归、二分类以及多分类
01-02
python实现GBDT的回归、二分类以及多分类，将算法流程详情进行展示解读并可视化，庖丁解牛地理解GBDT
GBDT(sklearn)进行回归
baidu_15113429的博客
09-11 7263
sklearn中可以使用GBDT进行分类和回归，下面是GBDT进行回归的文档http://scikit-learn.org/stable/modules/generated/sklearn.ensemble.GradientBoostingRegressor.html#examples-using-sklearn-ensemble-gradientboostingregressor
深入理解GBDT回归算法
小白学视觉
05-16 5634
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达来源：公众号Microstrong授权转载目录：1. GBDT简介2. GBDT回归算法 2.1 GBDT回归算法推导 2.2 GBDT回归算法实例3. 手撕GBDT回归算法 3.1 用Python3实现GBDT回归算法 3.2 用sklearn实现GBD...
GBDT--回归篇
On_theway10的博客
10-22 395
关于分类情形，参见GBDT-分类篇。 Gradient Boost的算法流程 LS_TreeBoost LAD_TreeBoost sklearn源码解读 sklearn.ensemble.GradientBoostingRegressor sklearn.ensemble.GradientBoostingRegressor(loss=’ls’, lea...
【集成学习系列教程4】GBDT回归算法原理及sklearn应用
qq_42554780的博客
10-08 1651
文章目录6 GBDT回归算法6.1 概述6.2 算法具体步骤6.3 sklearn中的GradientBoosting分类算法6.3.1 原型6.3.2 常用参数6.3.3 常用属性6.3.4 常用方法6.4 实例5：探索不同回归损失函数对GBDT回归模型拟合效果的影响6.4.1 创建数据集6.4.2 定义与拟合使用不同损失函数的GBDT回归模型 6 GBDT回归算法 6.1 概述 GBDT不仅可以应用于分类任务，它在回归任务中也有很好的表现。GBDT回归算法的原理与二分类算法很相似，最大的区别在于目标函数
GBDT回归算法实例分析
猫哥
08-27 6740
声明：本文仅为个人学习GBDT算法的记录，如有错误或不专业的地方请指教！源码实现参考Github：https://github.com/Freemanzxp/GBDT_Simple_Tutorial GBDT简介 GBDT的全称是Gradient Boosting Decision Tree，梯度提升决策树，它在普通决策树的基础上添加了梯度提升方法，从1颗决策树演变为多颗决策树，逐步...
机器学习爬大树之（GBDT原理）--回归篇
weixin_41580067的博客
12-17 825
               集成学习（ensemble learning）想必应该是最为火爆的机器学习算法了，它通过构建并结合多个学习器来完成学习任务；类似于我们长说的“采百家之长”，目前的集成学习方法大致可分为两大类：               （1）个体学习器间存在强依赖关系，必须串行生成的序列化方法（Adaboost，GBDT）；               （2）个体学习器间不存...
GDBT-回归预测篇
u014296502的专栏
06-11 1011
在上一篇文章gdbt梯度提升原理，详细介绍了梯度、方向导数、为什么负梯度方向是函数下降最快方向，继而引出了GDBT的模型与优化原理。本篇将进一步以实例的方式演绎GDBT是如何进行回归预测的。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值