【回归算法】梯度提升回归(GBDT)超详细讲解

机器学习从零到入门 GBDT 梯度提升决策树 GBDT 详解一、 梯度的概念1、日常生活中的梯度2、函数中的梯度2.1、走进数学2.2、从数学到机器学习(1)、损失函数的理解 loss function(2)、梯度的理解 gradient(3)、梯度下降与损失函数二、GBDT1、回归树 - Regression Decision Tree,DT2、梯度提升 - Gradient Boosting - GB3、提升树 - Boosting Desicion Tree - BDT三、GBDT的应用1、GBDT的分类与回归2、GBDT+LR 一、 梯度的概 阅读详情

梯度提升回归(GBDT)超详细讲解(附完整实战代码)

梯度提升回归(Gradient Boosting Regression, GBDT)是机器学习中集成学习的经典进阶算法,也是工业界和竞赛中超高精度的数值预测方法。它基于前向分步优化和梯度下降思想,通过多棵弱决策树逐步纠正误差的方式构建强学习器,完美弥补了单棵决策树、甚至随机森林的精度短板,是本科和研究生机器学习进阶的核心内容,也是金融风控、房价预测、销量预估等场景的主流算法。

本文将从通俗原理、核心数学推导、完整实战流程、优缺点与算法对比四个维度展开,内容通俗易懂,公式做简化解释,附带可直接运行的Python代码,适配本科课程学习和研究生实战应用。

一、什么是梯度提升回归?(通俗理解)

梯度提升回归的核心可以概括为弱模型的「团队迭代纠错」,把它想象成找一群新手逐步学习修正错误,最终成为专家的过程:
假如你要预测房价,先找一个房产新手(弱模型,如浅决策树)做初步预测,他的结果会有很多误差;接着找第二个新手,专门学习第一个新手的预测错误(残差),用新的预测结果弥补之前的误差;再找第三个新手,学习前两个新手的总误差,继续修正……以此类推,每一个新的弱模型都聚焦于纠正前面所有模型的错误,最终所有弱模型的组合,就成为了预测精度极高的专家模型。

对应到算法中:

  • 每个新手 = 一棵浅决策树(弱学习器,树深度通常较浅,避免过拟合)
  • 学习并纠正错误 = 新模型拟合前序模型的残差(实际值-预测值),或通过负梯度确定误差修正方向
  • 最终专家模型 = 所有弱模型的加权组合,逐步迭代后实现高精度预测
  • 核心特点 = 串行迭代、逐步优化,每一步都让模型的预测误差更小

为什么叫「梯度提升」?

「梯度」指的是损失函数的负梯度,它能告诉模型误差的方向和大小,指导新模型该往哪个方向调整才能减少误差;「提升」指的是逐步提升模型的预测能力,通过不断加入新的弱模型修正误差,让整体模型的性能持续优化。简单来说,就是沿着梯度下降的方向,逐步提升模型精度。

二、梯度提升回归的核心原理与数学推导

梯度提升回归的数学基础是加法模型、前向分步优化和梯度下降,核心是用负梯度代替残差拟合新模型,适配更多类型的损失函数。以下公式做简化解释,重点理解核心逻辑,适配本科/研究生入门学习。

2.1 核心目标与损失函数

给定训练数据集 D=(xi,yi)i=1ND={(x_{i}, y_{i})}_{i=1}^{N}D=(xi​,yi​)i=1N​,其中 xix_ixi​ 是输入特征向量,yiy_iyi​ 是连续型目标值(如房价),NNN 是样本数。

梯度提升回归的核心目标是学习一个预测函数 F(x)F(x)F(x),使得损失函数最小化,即找到最优的 F∗(x)F^*(x)F∗(x):
F∗(x)=argminF∑i=1NL(yi,F(xi))F^{*}(x)=arg min _{F} \sum_{i=1}^{N} L\left(y_{i}, F\left(x_{i}\right)\right)F∗(x)=argminF​i=1∑N​L(yi​,F(xi​))

回归任务中常用的损失函数:

  1. 均方误差(MSE):最常用,适用于无异常值的场景,L(y,F(x))=(y−F(x))2L(y, F(x))=(y-F(x))^{2}L(y,F(x))=(y−F(x))2
  2. 绝对误差(MAE):对异常值更稳健,L(y,F(x))=∣y−F(x)∣L(y, F(x))=|y-F(x)|L(y,F(x))=∣y−F(x)∣
  3. Huber损失:结合MSE和MAE的优点,既保证精度又对异常值鲁棒,是工业界常用选择

2.2 加法模型与前向分步优化

梯度提升回归的模型是加法模型,由多个弱学习器(基学习器,通常为浅决策树)加权组合而成,数学形式为:
FM(x)=∑m=1Mγmhm(x)F_{M}(x)=\sum_{m=1}^{M} \gamma_{m} h_{m}(x)FM​(x)=m=1∑M​γm​hm​(x)
其中:

  • MMM:弱学习器的个数(超参数,如100、200)
  • hm(x)h_{m}(x)hm​(x):第mmm轮训练的弱模型(浅决策树)
  • γm\gamma_{m}γm​:第mmm个弱模型的权重(步长),控制其对整体模型的贡献

由于直接求解最优的加法模型难度大,梯度提升采用前向分步优化:不一次性训练所有弱模型,而是逐步迭代训练,每一步只训练一个新的弱模型,让模型逐步逼近最优解。

每一轮的模型更新公式为:
Fm(x)=Fm−1(x)+γmhm(x)F_{m}(x)=F_{m-1}(x)+\gamma_{m} h_{m}(x)Fm​(x)=Fm−1​(x)+γm​hm​(x)
其中 Fm−1(x)F_{m-1}(x)Fm−1​(x) 是前m−1m-1m−1轮训练得到的模型,Fm(x)F_{m}(x)Fm​(x) 是加入第mmm个弱模型后的新模型。

2.3 核心:用负梯度(伪残差)拟合新模型

梯度提升的关键是确定每一轮新模型的训练目标,也就是让新模型学习什么才能最大程度减少误差。

假设当前模型是 Fm−1(x)F_{m-1}(x)Fm−1​(x),为了让新模型 hm(x)h_{m}(x)hm​(x) 能最大程度降低损失,我们取损失函数对当前模型的负梯度作为新的训练目标,这个负梯度也被称为伪残差/梯度残差,它指示了模型误差的方向和大小:
rim=−[∂L(yi,F(xi))∂F(xi)]F(x)=Fm−1(x)r_{i m}=-\left[\frac{\partial L\left(y_{i}, F\left(x_{i}\right)\right)}{\partial F\left(x_{i}\right)}\right]_{F(x)=F_{m-1}(x)}rim​=−[∂F(xi​)∂L(yi​,F(xi​))​]F(x)=Fm−1​(x)​
其中 rimr_{im}rim​ 是第iii个样本在第mmm轮的伪残差。

特殊情况:当使用均方误差(MSE)作为损失函数时,伪残差就是实际的残差(实际值-预测值),这也是入门阶段最易理解的情况,推导如下:
对MSE求导:∂L∂F(x)=2(F(x)−y)\frac{\partial L}{\partial F(x)} = 2(F(x)-y)∂F(x)∂L​=2(F(x)−y),取负梯度后:rim=yi−Fm−1(xi)r_{im}=y_i - F_{m-1}(x_i)rim​=yi​−Fm−1​(xi​),即残差。

得到伪残差后,第mmm轮的弱模型 hm(x)h_{m}(x)hm​(x) 就以拟合伪残差为目标进行训练:
hm(x)≈rimh_{m}(x) \approx r_{i m}hm​(x)≈rim​

2.4 最优步长求解与模型更新

训练出拟合伪残差的弱模型 hm(x)h_{m}(x)hm​(x) 后,需要求解最优步长γm\gamma_{m}γm​,让新模型的损失最小化,即找到能让整体误差最小的权重:
γm=argminγ∑i=1NL(yi,Fm−1(xi)+γhm(xi))\gamma_{m}=arg min _{\gamma} \sum_{i=1}^{N} L\left(y_{i}, F_{m-1}\left(x_{i}\right)+\gamma h_{m}\left(x_{i}\right)\right)γm​=argminγ​i=1∑N​L(yi​,Fm−1​(xi​)+γhm​(xi​))

特殊情况:使用MSE时,最优步长可直接通过求导求解,结果为:
γm=∑i=1Nrimhm(xi)∑i=1Nhm2(xi)\gamma_{m}=\frac{\sum_{i=1}^{N} r_{i m} h_{m}\left(x_{i}\right)}{\sum_{i=1}^{N} h_{m}^{2}\left(x_{i}\right)}γm​=∑i=1N​hm2​(xi​)∑i=1N​rim​hm​(xi​)​

为了防止模型过拟合,实际训练中会加入学习率η\etaη(0<η\etaη≤1) 对步长做衰减,最终的模型更新公式为:
Fm(x)=Fm−1(x)+η⋅γm⋅hm(x)F_{m}(x)=F_{m-1}(x)+\eta \cdot \gamma_{m} \cdot h_{m}(x)Fm​(x)=Fm−1​(x)+η⋅γm​⋅hm​(x)
学习率的作用:较小的学习率(如0.1、0.05)需要更多的弱模型迭代,但能让模型的泛化能力更强,避免过拟合。

2.5 梯度提升回归的完整算法流程

梯度提升回归的训练过程是固定的迭代流程,输入为数据集、损失函数、弱模型个数、学习率,输出为最终的强学习器,步骤清晰可落地:

输入
  • 训练数据集 D=(xi,yi)i=1ND={(x_{i}, y_{i})}_{i=1}^{N}D=(xi​,yi​)i=1N​
  • 损失函数 L(y,F(x))L(y, F(x))L(y,F(x))(如MSE、MAE)
  • 弱模型个数 MMM
  • 学习率 η\etaη(步长衰减系数)
步骤1:初始化初始模型

初始模型是一个常数值,选择让损失函数最小的常数作为初始预测值,也是所有样本的初始预测结果。
F0(x)=argminγ∑i=1NL(yi,γ)F_{0}(x)=arg min _{\gamma} \sum_{i=1}^{N} L\left(y_{i}, \gamma\right)F0​(x)=argminγ​i=1∑N​L(yi​,γ)
特殊情况:使用MSE时,初始值为目标变量的均值,即 F0(x)=1N∑i=1NyiF_{0}(x)=\frac{1}{N} \sum_{i=1}^{N} y_{i}F0​(x)=N1​∑i=1N​yi​,这是最易理解的初始值。

步骤2:迭代训练弱模型(m=1到M)

对每一轮迭代,依次完成4个操作,直到训练完M个弱模型:

  1. 计算伪残差:求损失函数对当前模型的负梯度,作为新模型的训练目标
    rim=−[∂L(yi,F(xi))∂F(xi)]F(x)=Fm−1(x)r_{i m}=-\left[\frac{\partial L\left(y_{i}, F\left(x_{i}\right)\right)}{\partial F\left(x_{i}\right)}\right]_{F(x)=F_{m-1}(x)}rim​=−[∂F(xi​)∂L(yi​,F(xi​))​]F(x)=Fm−1​(x)​
  2. 训练弱模型:用当前数据集训练弱模型 hm(x)h_{m}(x)hm​(x),拟合伪残差 rimr_{im}rim​
    hm(x)≈rimh_{m}(x) \approx r_{i m}hm​(x)≈rim​
  3. 求解最优步长:找到让损失最小的步长γm\gamma_{m}γm​
    γm=argminγ∑i=1NL(yi,Fm−1(xi)+γhm(xi))\gamma_{m}=arg min _{\gamma} \sum_{i=1}^{N} L\left(y_{i}, F_{m-1}\left(x_{i}\right)+\gamma h_{m}\left(x_{i}\right)\right)γm​=argminγ​i=1∑N​L(yi​,Fm−1​(xi​)+γhm​(xi​))
  4. 更新整体模型:加入学习率,更新模型,让预测误差进一步降低
    Fm(x)=Fm−1(x)+ηγmhm(x)F_{m}(x)=F_{m-1}(x)+\eta \gamma_{m} h_{m}(x)Fm​(x)=Fm−1​(x)+ηγm​hm​(x)
步骤3:输出最终模型

训练完M个弱模型后,得到最终的梯度提升回归模型:
FM(x)=F0(x)+∑m=1Mηγmhm(x)F_{M}(x)=F_{0}(x)+\sum_{m=1}^{M} \eta \gamma_{m} h_{m}(x)FM​(x)=F0​(x)+m=1∑M​ηγm​hm​(x)

2.6 关键训练要点(避坑核心)

梯度提升回归的训练效果受多个细节影响,这也是实战中调参的核心,必须重点注意:

  1. 基学习器选浅决策树:通常选择深度为3-5的CART树,树过深会导致过拟合,失去弱学习器的意义;
  2. 学习率与模型个数搭配:学习率越小,需要的弱模型个数M越多(如学习率0.05时,M可取500),二者需搭配调优;
  3. 正则化策略:通过子采样(随机选部分样本训练)、L1/L2正则化、决策树剪枝防止过拟合;
  4. 损失函数选择:无异常值用MSE,有异常值用MAE或Huber损失,工业界优先选Huber损失兼顾精度和鲁棒性。

三、梯度提升回归完整实战(Python+加州房价数据集)

本次实战使用加州房价数据集(sklearn内置公开数据集),完成从数据加载→可视化→模型训练→超参数调优→误差分析的全流程,使用sklearn的GradientBoostingRegressor实现,代码可直接复制运行,注释详细,适配Python3.7+、sklearn1.0+。

3.1 实战目标

通过房屋的平均收入、房间数、房屋年龄、经纬度等8个特征,预测房屋价格,掌握梯度提升回归的实战应用、核心超参数调优和模型评估方法,并分析预测误差分布。

3.2 完整代码与步骤解释

步骤1:导入所需库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
# 加载数据集
from sklearn.datasets import fetch_california_housing
# 数据划分、网格搜索调参
from sklearn.model_selection import train_test_split, GridSearchCV
# 梯度提升回归模型
from sklearn.ensemble import GradientBoostingRegressor
# 模型评估指标
from sklearn.metrics import mean_squared_error, r2_score
# 解决中文显示问题
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
步骤2:加载并查看数据集

数据集无缺失值,直接拆分特征和目标值,房价为原始单位(10万美元),无需额外转换:

# 加载加利福尼亚房价数据集
data = fetch_california_housing()
df = pd.DataFrame(data.data, columns=data.feature_names)
# 加入房价目标值,命名为Target
df['Target'] = data.target

# 查看数据集前5行和基本信息
print("数据集前5行:")
print(df.head())
print("\n数据集基本信息:")
print(df.info())
print(f"\n数据集形状:{df.shape}")
步骤3:数据可视化分析

通过房价分布直方图和特征相关性热图,直观了解数据分布和核心影响特征:

# 1. 绘制房价分布直方图,查看数据分布
plt.figure(figsize=(12, 6))
sns.histplot(df['Target'], bins=30, kde=True, color='orange')
plt.xlabel("房价(10万美元)")
plt.ylabel("样本数量")
plt.title("房价分布情况")
plt.show()

# 2. 绘制特征相关性热图,分析特征与房价的相关性
plt.figure(figsize=(10, 8))
sns.heatmap(df.corr(), annot=True, cmap='coolwarm', fmt='.2f')
plt.title("特征与房价的相关性热图")
plt.show()

可视化结果解读:

  • 房价呈右偏分布,符合实际房产市场的价格规律;
  • 家庭平均收入(MedInc)与房价的相关系数为0.69,是影响房价的最核心特征;
  • 经纬度(Latitude/Longitude)呈强负相关,体现房价的区域特征。
步骤4:划分训练集和测试集

按8:2的比例划分训练集(模型训练)和测试集(模型评估),random_state=42保证结果可复现:

# 拆分特征(X)和目标值(y)
X = df.drop(columns=['Target'])
y = df['Target']

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)
print(f"训练集样本数:{X_train.shape[0]},测试集样本数:{X_test.shape[0]}")
步骤5:训练基础梯度提升回归模型

设置核心超参数(弱模型个数、学习率、树深度),训练基础模型并评估性能:

# 初始化梯度提升回归模型
model = GradientBoostingRegressor(
    n_estimators=200,  # 弱模型个数(决策树数量)
    learning_rate=0.1, # 学习率
    max_depth=4,       # 每棵决策树的最大深度(浅树,防止过拟合)
    random_state=42
)
# 用训练集训练模型
model.fit(X_train, y_train)

# 对测试集进行预测
y_pred = model.predict(X_test)

# 评估模型性能:均方误差(MSE)、决定系数(R²,越接近1越好)
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
print(f"基础模型 - 均方误差(MSE):{mse:.4f}")
print(f"基础模型 - 决定系数(R²):{r2:.4f}")

基础模型结果:MSE约0.25,R²约0.81,精度远高于单棵决策树,略高于基础随机森林。

步骤6:可视化预测结果(真实值vs预测值)

用散点图展示模型预测值与真实值的对比,直观判断模型拟合效果:

plt.figure(figsize=(8, 6))
sns.scatterplot(x=y_test, y=y_pred, alpha=0.6, color='blue')
# 绘制理想预测线(预测值=真实值)
plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], '--red', linewidth=2)
plt.xlabel("真实房价(10万美元)")
plt.ylabel("预测房价(10万美元)")
plt.title("梯度提升回归-真实房价vs预测房价")
plt.show()

结果解读:散点越贴近红色理想线,说明模型预测效果越好;基础模型的预测点整体贴合度较高,仅少数极端值有偏差。

步骤7:超参数优化(网格搜索GridSearchCV)

梯度提升回归的性能对弱模型个数、学习率、树深度高度敏感,通过网格搜索遍历最优参数组合,进一步提升模型精度:

# 定义待搜索的超参数范围
param_grid = {
    'n_estimators': [100, 200, 300],  # 弱模型个数
    'learning_rate': [0.05, 0.1, 0.2],# 学习率
    'max_depth': [3, 4, 5]             # 决策树最大深度
}

# 初始化网格搜索:3折交叉验证,评分标准为R²,n_jobs=-1利用所有CPU核心
grid_search = GridSearchCV(
    GradientBoostingRegressor(random_state=42),
    param_grid,
    cv=3,
    scoring='r2',
    n_jobs=-1
)
# 用训练集训练网格搜索模型
grid_search.fit(X_train, y_train)

# 打印最优参数和最优交叉验证得分
print("网格搜索最优超参数:", grid_search.best_params_)
print("网格搜索最优交叉验证R²:", grid_search.best_score_:.4f)

# 使用最优参数训练最终模型
best_model = grid_search.best_estimator_
y_best_pred = best_model.predict(X_test)

# 评估优化后模型的性能
best_mse = mean_squared_error(y_test, y_best_pred)
best_r2 = r2_score(y_test, y_best_pred)
print(f"优化后模型 - 均方误差(MSE):{best_mse:.4f}")
print(f"优化后模型 - 决定系数(R²):{best_r2:.4f}")

调参结果:优化后模型的R²可提升至0.83-0.85,MSE进一步降低,精度优于优化后的随机森林,体现梯度提升的精度优势。

步骤8:误差分布分析

绘制预测误差(真实值-预测值)的分布直方图,分析模型的误差特征,为后续优化提供方向:

# 计算预测误差
error = y_test - y_best_pred

# 绘制误差分布直方图
plt.figure(figsize=(8, 6))
sns.histplot(error, bins=30, kde=True, color='green')
plt.xlabel("预测误差(10万美元)")
plt.ylabel("样本数量")
plt.title("梯度提升回归-预测误差分布")
plt.show()

误差分析解读:

  • 误差分布接近正态分布,且均值接近0,说明模型对大多数样本的预测是准确的;
  • 存在少量极端误差,可能由数据中的异常值导致,可通过更换Huber损失、数据清洗进一步优化。
步骤9:特征重要性分析

梯度提升回归可直接输出特征重要性,量化各特征对房价预测的贡献度,为特征工程提供依据:

# 提取特征重要性
feature_importance = pd.Series(best_model.feature_importances_, index=X.columns)
# 绘制特征重要性柱状图
plt.figure(figsize=(10, 5))
feature_importance.sort_values(ascending=False).plot(kind='bar', color='purple')
plt.title("梯度提升回归-特征重要性排名")
plt.xlabel("特征")
plt.ylabel("特征重要性")
plt.show()

结果解读:家庭平均收入(MedInc)的特征重要性最高,与相关性分析结果一致,验证了核心特征的有效性;经纬度的重要性次之,体现了房价的区域差异。

四、梯度提升回归(GBDT)的优缺点

梯度提升回归是精度优先的集成学习算法,解决了单棵决策树和随机森林的精度短板,但也存在计算成本高、调参复杂等问题,优缺点总结如下,适配本科/研究生课程考点和实战选型参考:

4.1 核心优点

  1. 预测精度极高:通过逐步迭代纠正误差,精度远高于单棵决策树、线性回归,也优于随机森林,是工业界高精度预测的首选;
  2. 非线性建模能力强:继承了决策树处理非线性关系的优势,能捕捉特征与目标值之间的复杂关联,适配绝大多数实际回归场景;
  3. 自动特征选择:能自动评估特征重要性,筛选出对预测有贡献的特征,减少手动特征工程的工作量;
  4. 鲁棒性较强:可通过选择合适的损失函数(如Huber、MAE)降低异常值和噪声的影响,适配有少量噪声的实际数据集;
  5. 无需特征缩放:不受特征量纲影响,无需对数据做标准化/归一化,简化数据预处理步骤;
  6. 损失函数灵活:可适配MSE、MAE、Huber等多种损失函数,满足不同场景的需求。

4.2 核心缺点

  1. 计算成本高:串行迭代训练(后一棵树依赖前一棵树的结果),训练时间远长于随机森林,大规模数据集下耗时明显;
  2. 难以并行化:由于模型的串行依赖性,无法像随机森林那样对多棵树进行并行训练,计算效率受限;
  3. 过拟合风险高:若超参数调优不当(如树深度过深、学习率过高、模型个数过多),模型极易过拟合训练数据,泛化能力下降;
  4. 超参数调优复杂:核心超参数(n_estimators、learning_rate、max_depth)相互关联,需要搭配调优,无经验时难以快速找到最优组合;
  5. 可解释性差:属于「黑箱模型」,虽能输出特征重要性,但无法像决策树那样直观解释单个预测结果的生成过程;
  6. 对高维稀疏数据适配性一般:在文本、推荐系统等高维稀疏数据场景中,效果不如专门优化的XGBoost、LightGBM。

五、梯度提升回归与相似算法的对比

为了让大家在实战中精准选算法,以下从适用场景、计算复杂度、非线性能力、训练速度、过拟合风险、可解释性6个维度,对比梯度提升回归(GBDT)与随机森林、XGBoost、LightGBM、线性回归、SVM的差异,表格简洁明了,适配本科课程考核和研究生实战选型:

算法适用场景计算复杂度处理非线性能力训练速度过拟合风险可解释性
梯度提升回归(GBDT)中等规模数据、高精度回归需求高强慢高(需调参)低
随机森林(RF)高维数据、追求稳定性、中等精度中强快(并行)低中
XGBoost大规模数据、高精度、工业级场景中强中等中等低
LightGBM超大规模数据、实时预测、高精度低强快中等低
CatBoost类别特征多、减少预处理、高精度中强快中等低
线性回归低维线性数据、简单快速预测低弱极快低高
支持向量机(SVM)小数据集、复杂边界、中等精度高强(核函数)慢低低

关键选型结论

优先选梯度提升回归(GBDT)的情况
  1. 数据集为中等规模(几万到几十万样本),计算成本可接受;
  2. 任务对预测精度要求高,如房价预测、金融风控、销量预估;
  3. 数据存在复杂非线性关系,线性模型无法拟合;
  4. 特征工程较少,希望模型自动筛选特征;
  5. 数据有少量噪声,可通过选择鲁棒损失函数(如Huber)优化。
考虑其他算法的情况
  1. 超大规模数据集(百万级以上):选LightGBM(训练速度快、计算优化好)或CatBoost(处理类别特征优秀);
  2. 对训练速度要求极高:选随机森林(并行训练,速度快)或线性回归(极快);
  3. 对模型可解释性要求高:选线性回归或决策树回归(可直观解释);
  4. 数据为低维线性关系:选线性回归(简单高效,无需复杂模型);
  5. 高维稀疏数据(如文本、推荐):选XGBoost/LightGBM(专门优化)或神经网络;
  6. 追求模型稳定性,对精度要求中等:选随机森林(抗过拟合,调参简单)。

六、梯度提升回归的进阶拓展

梯度提升回归的核心思想诞生后,工业界基于其做了大量优化,诞生了XGBoost、LightGBM、CatBoost三大经典算法,也是研究生阶段和工业界的重点学习内容,简单介绍如下:

  1. XGBoost(极端梯度提升):GBDT的改进版,加入正则化、缺失值处理、列采样,精度更高、抗过拟合能力更强,是竞赛和工业界的经典算法;
  2. LightGBM(轻量梯度提升):微软提出,采用直方图优化、按叶子生长,训练速度提升10倍以上,内存消耗更低,适配超大规模数据集;
  3. CatBoost(类别特征梯度提升):Yandex提出,专门优化类别特征处理,无需手动编码类别特征,减少预处理工作量,同时解决了梯度偏差问题,精度和稳定性更高。

核心关系:XGBoost/LightGBM/CatBoost都是GBDT的优化版本,核心思想仍为「梯度下降+逐步纠错」,只是在计算效率、特征处理、正则化等方面做了改进,实战中优先选择这些优化版本,而非原生GBDT。

七、总结

  1. 梯度提升回归(GBDT)是串行集成学习的经典算法,核心是通过弱模型逐步迭代纠正误差,沿着损失函数的负梯度方向提升模型精度,最终实现高精度预测;
  2. GBDT的数学基础是加法模型和前向分步优化,用负梯度(伪残差) 作为新模型的训练目标,适配多种损失函数,MSE下伪残差就是实际残差,是入门阶段的核心理解点;
  3. GBDT的核心超参数为弱模型个数(n_estimators)、学习率(learning_rate)、树深度(max_depth),三者需搭配调优,小学习率+多模型个数通常能获得更好的泛化能力;
  4. GBDT的最大优势是预测精度极高,远优于单棵决策树和随机森林,是工业界高精度回归任务的首选;最大劣势是计算成本高、串行训练、调参复杂;
  5. 实战中不建议使用原生GBDT,优先选择其优化版本XGBoost、LightGBM、CatBoost,在计算效率、特征处理、抗过拟合方面均有大幅提升;
  6. GBDT与随机森林是集成学习的两大核心:随机森林是并行Bagging思想,追求稳定性;GBDT是串行Boosting思想,追求精度,二者是本科和研究生机器学习必须掌握的算法。

拓展学习:掌握GBDT后,可进一步学习XGBoost和LightGBM的核心优化点、集成学习的Bagging/Boosting/Stacking三大思想,以及SHAP/LIME模型解释方法,解决GBDT的黑箱问题,让模型不仅能预测,还能解释预测结果。

监督学习 - 梯度提升回归(Gradient Boosting Regression) 用于解决回归问题。它通过迭代地训练一系列弱学习器(通常是决策树)来逐步提升模型的性能。梯度提升回归的基本思想是通过拟合前一轮模型的残差(实际值与预测值之差)来构建下一轮模型,从而逐步减小模型对训练数据的预测误差。(Gradient Boosting Regression)是一种。(树的最大深度)等。这些参数可以根据实际问题进行调整。在实际应用中,可以使用梯度提升回归的库,如。类,来实现梯度提升回归。 阅读详情

相关推荐

梯度提升回归树(GBDT)

本文的主要内容是基于Python机器学习基础教程决策树部分进行整理和总结。 模型描述 梯度提升回归树和随机森林一样,是一种决策树集成方法,通过合并多个决策树来构建一个更为强大的模型。虽然名字中有“回归”,但是该方法既能用于回归问题,也能用于分类问题,与随机森林不同的是,梯度提升回归树(GBDT)采用连续的方式构造树,每棵树都在试图修正前一棵树的错误。默认情况下,梯度提升回归树没有随机化,而是用到了...

MachineLearner的博客 7165

梯度提升回归(Gradient boosting regression,GBR) 学习笔记以及代码实现&permutation_importance(PI)

梯度提升回归(Gradient boosting regression,GBR)是一种从它的错误中进行学习的技术。它本质上就是集思广益,集成一堆较差的学习算法进行学习。有两点需要注意: ①每个学习算法准确率都不高。但是它们集成起来可以获得很好的准确率。 ②这些学习算法依次应用。也就是说每个学习算法都是在前一个学习算法的错误中学习

weixin_45928096的博客 2万+

梯度提升树(GBDT)算法原理详细总结

        上篇我们对boosting家族中的Adaboost算法进行了总结,本篇我们来探讨传统的梯度提升树(Gradient Boosting Decison Tree)算法。梯度提升树被认为是统计学习中性能最好的方法之一。         梯度提升树(GBDT)全称为Gradient Boosting Deci...

NLP_谢立侠 9928

梯度提升回归(概念+实例)

梯度提升回归(Gradient Boosting Regression)是一种强大的机器学习技术,常用于解决回归问题。它是基于集成学习(Ensemble Learning)的方法之一,在数据科学和机器学习领域广泛应用。梯度提升回归通过结合多个弱学习器(通常是决策树)来构建一个强大的模型,从而达到更好的预测性能。

weixin_47151388的博客 4845

机器学习(十九):梯度提升回归(GBR)

机器学习中的梯度提升回归算法原理与案例实战。

全栈川川 5161

机器学习 | GBDT算法原理

GBDT的全称是Gradient Boosting Decision Tree,梯度提升树,在传统机器学习算法中,GBDT算的上TOP3的算法。想要理解GBDT的真正意义,那就必须理解GBDT中的Gradient Boosting和Decision Tree分别是什么?

880

用Python实现9大回归算法详解——05. 梯度提升回归(Gradient Boosting Regression)

梯度提升是一种集成学习方法,通过组合多个弱学习器来构建一个强大的预测模型。在梯度提升框架中,每个弱学习器都试图修正前一个模型的错误。与简单的加法模型不同,梯度提升通过逐步拟合前一个模型的残差来改进预测。梯度提升回归(Gradient Boosting Regression)专门用于回归任务。它通过最小化损失函数(如均方误差)来优化回归模型的性能。每一轮的模型训练都在尝试减少当前模型的预测误差。梯度提升回归是一种非常强大的回归算法,通过逐步优化弱学习器来构建强大的预测模型。

qq_41698317的博客 4149

大白话GBDT算法-通俗理解GBDT原理

本课程分为4个模块。 第一个模块通过预测年龄的直观案例理解GBDT算法流程。 第二个模块通过GBDT的三要素:GB(梯度提升),DT(回归树)和Shrinkage(缩减)理解GBDT的算法核心。 第三个模块通过剖析分类和回归损失函数来讲解GBDT在分类和回归方面的应用。 第四个模块通过手动方式一步步拆解讲解GBDT回归,二分类,多分类的过程,还原真实迭代流程。 第五个模块通过真实案例讲解GBDT的工作中所用API。 资料: 视频:

【机器学习】梯度提升回归树GBDT

当GBDT应用于回归问题时,它的目标是预测连续值。这意味着在每一步迭代中,模型试图最小化某个连续损失函数(例如均方误差)。对于回归任务,GBDT的主要优势在于其能够捕捉复杂的非线性关系,并且对异常值具有一定的鲁棒性。此外,通过适当调整超参数,还可以有效地防止过拟合,确保模型既强大又稳定。

专注上位机开发、机器视觉、机器学习、嵌入式软硬件开发 2万+

深入解析V4L2框架与高通KMD在Camera驱动中的协同设计

本文深入解析了V4L2框架与高通KMD在Camera驱动中的协同设计。V4L2作为Linux内核标准视频驱动框架,提供了统一的设备抽象与数据流管理;而高通KMD则在其基础上,通过引入CRM等核心模块,构建了一套针对移动平台复杂相机系统的高效内核态驱动架构,实现了硬件配置与执行的解耦与智能调度。

qq_27496129的博客 1150

Mamba实战:如何用Samba框架轻松搞定RGB-D显著性检测(附避坑指南)

本文提供了基于Samba框架进行RGB-D显著性目标检测的实战指南。详细解析了从环境配置、数据预处理到模型推理与可视化的全流程,并重点剖析了多模态数据融合中的常见陷阱与调试技巧,旨在帮助开发者高效部署这一基于Mamba的先进视觉模型,规避工程实践中的典型问题。

dapp9builder的博客 615

高级算法梳理之GBDT(梯度提升决策树)

上一部分讲了集成程序的概念,其中介绍了了bagging优化的随机森林算法,本文讲述基于Boosting算法的梯度提升决策树算法(GBDT)。 1、加法模型 我们将f(x)=∑m=1Mβmb(x;γm)f\left ( x \right )=\sum_{m=1}^{M}\beta _{m}b\left ( x;\gamma _{m} \right )f(x)=∑m=1M​βm​b(x;γm​)定义为...

sun_xiao_kai的博客 896

告别简陋行情!在Ubuntu24.04系统用Wine9.0跑同花顺远航版的全流程记录

本文详细记录了在Ubuntu 24.04系统上,通过Wine 9.0兼容层成功安装并流畅运行同花顺远航版的全过程。文章对比了该方案与官方简陋Linux原生版本的功能差异,重点解决了高分辨率屏幕下的字体与界面显示问题,并提供了关键配置调优与长期维护建议,为Linux用户提供了功能完备的专业金融行情解决方案。

weixin_29207533的博客 1078

ML算法推导细节07—梯度提升决策树GBDT

探究算法细节,深入了解算法原理 梯度提升决策树1. 1. 的

malele4th 883

手把手教你学simulink(36.1)--ACAC变换器场景示例:基于 Simulink 的矩阵变换器(Matrix Converter)

矩阵变换器(Matrix Converter, MC)是一种直接将交流电(AC)转换为不同频率和幅值的交流电的电力电子设备。与传统的基于直流环节的变频器不同,矩阵变换器不需要中间的直流环节,而是通过双向开关直接在输入和输出之间进行能量传递。这种结构使得矩阵变换器具有更高的效率、更小的体积和更好的动态响应。在本项目中,我们将使用 MATLAB/Simulink 来建模和仿真一个矩阵变换器,并分析其性能。Simulink 是一个强大的仿真工具,特别适合用于电力电子系统的建模和仿真。

MHD0815的博客 1066

R数据分析:潜在剖面分析LPA的做法与解释

Latent Profile Analysis (LPA) tries to identify clusters of individuals (i.e., latent profiles) based on responses to a series of continuous variables (i.e., indicators). LPA assumes that there are unobserved latent profiles that generate patterns of resp.

Codewar的博客 1万+

梯度提升决策树(Gradient Boosting Decision Tree,GBDT)

文章目录总结综述一、Regression Decision Tree:回归树二、Boosting Decision Tree:提升树算法三、Gradient Boosting Decision Tree:梯度提升决策树四、重要参数的意义及设置五、拓展 总结 回归树: 用均方误差的最小二乘法作为选择特征、划分树节点的依据,构造回归树 提升树: 迭代多颗回归树,新树以上一棵树的残差来构造。最终结果是树相同位置节点值的和。 梯度提升决策树: 在提升树的基础上,用梯度来替代残差构造新树。 综述 GBDT(Gradi

ywm_up 1万+

把 ABAP writable CDS view entity 讲透:从只读建模到可写模型的 ABAP CDS 新能力

摘要:SAP引入的writable CDS view entity突破了传统CDS视图只读的限制,允许通过ABAP SQL直接进行数据修改。该特性通过WRITABLE关键字定义,使CDS视图成为与数据库表同等级别的可写对象。其核心价值在于为数据集成、中间层同步等场景提供结构化写入入口,但需注意不应绕过业务规则。最佳实践建议保持底层表结构简单映射,避免复杂变形。这一特性标志着CDS从单纯消费模型向双向数据交互能力的演进,为ABAP开发提供了新的数据边界设计思路。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1314

集成学习之前向分步算法与梯度提升决策树GBDT

集成学习之前向分步算法与梯度提升决策树GBDT前向分步算法加法模型向前分步算法前向分步算法与Adaboost的关系梯度提升决策树(GBDT)基于残差学习的提升树算法梯度提升决策树算法(GBDT)代码实践(待补充) 前向分步算法 引用源github:https://github.com/pandali1/DataScience/tree/main/%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0/ch3 加法模型 Adaboost的算法内容,我们需要通过计算M个基本分类器,每个分类器的

qq_43720646的博客 373

【图像去噪】论文复现:Mamba没Out!MaIR的Pytorch源码复现,跑通全流程,轻松解决环境配置问题,图文结合,明确MaIR创新点,与MambaIR对比,示意图与源码对应,清晰易懂,注释详细!

论文题目:MaIR: A Locality- and Continuity-Preserving Mamba for Image Restoration —— MaIR:用于图像恢复的局部性和连续性保持 Mamba【图像去噪】论文精读:MaIR: A Locality- and Continuity-Preserving Mamba for Image Restoration【图像去噪】论文复现:Man!

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 1115

Python 爬虫反爬突破:浏览器指纹深度伪装技术

在当前网络安全与反爬虫技术日趋成熟的环境下,传统的请求头伪装、IP 代理已无法满足复杂站点的爬虫需求。浏览器指纹作为网站识别爬虫、区分真实用户与自动化程序的核心技术,成为爬虫进阶必须突破的关键壁垒。浏览器指纹通过采集浏览器环境、硬件信息、渲染特性等多维数据生成唯一标识,即使更换 IP、清除 Cookie,网站仍可精准识别爬虫程序。本文聚焦浏览器指纹深度伪装技术,从指纹生成原理、核心指纹类型、Python 实现方案、高匿伪装实战到风控绕过策略,全方位讲解浏览器指纹的突破方法。Selenium 官方文档。

2503_91057718的博客 641

python_梯度提升决策树(GBDT)

机器学习,梯度提升决策树

2301_81791289的博客 1147

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

梯度提升树(GBDT)原理

在集成学习之Adaboost算法原理小结中,我们对Boosting家族的Adaboost算法做了总结,本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT)做一个总结。GBDT有很多简称,有GBT(Gradient Boosting Tree), GTB(Gradient Tree Boosting ), GBRT

chaoshengmingyue的博客 1101

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

GBDT:梯度提升决策树

综述   GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree),是一种迭代的决策树算法,该算法由多棵决策树组成,所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。  GBDT中的树是回归树(不是分类树),GBDT用来做回归预测,调整后...

dianwei0041的博客 112

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

梯度提升树(GBDT)原理小结

转载地址:https://www.cnblogs.com/pinard/p/6140514.html  在集成学习之Adaboost算法原理小结中,我们对Boosting家族的Adaboost算法做了总结,本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT)做一个总结。GBDT有很多简称,有GBT(Gradie...

Microstrong 927

python gdbt.apply_梯度提升算法(GBDT)

GBDT(Gradient Boosting Decision Tree)算法是集成算法中的一种,它的最基本分类器为CART二分类回归树,集成方式为梯度提升。CART二分类回归树CART回归树是GBDT算法的最基本分类器,CART回归树决定了每次分类时,叶子结点只能分出两个树枝,它与ID3,C4.5是不同的。CART回归树经常涉及到的一些问题:选择哪个特征作为最优分裂特征?怎么去切分一个特征?确定...

weixin_39831503的博客 589
上一篇: 【回归算法】随机森林回归超详细讲解
下一篇: 【回归算法】线性回归超详细讲解
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值