梯度提升树（GBDT）详解之一：回归举例

最新推荐文章于 2025-05-28 23:10:29 发布

白马负金羁

最新推荐文章于 2025-05-28 23:10:29 发布

阅读量5.3k

点赞数 6

CC 4.0 BY-SA版权

分类专栏：机器学习之术文章标签：机器学习梯度提升 GDBT 集成学习

本文链接：https://blog.youkuaiyun.com/baimafujinji/article/details/6476564

机器学习之术专栏收录该内容

51 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了梯度提升树（GBDT）的回归应用，作为集成学习的一种，GBDT通过逐次建立模型减少损失函数的梯度来提升性能。在回归问题中，GBDT用平方误差作为损失函数，通过预测残差逐步优化模型。以树高预测为例，展示了GBDT如何通过计算伪残差和构建决策树，逐步改进预测结果。学习率控制新树的影响，防止过拟合。GBDT在每次迭代中构建决策树，直到伪残差变化不再显著或达到预设树的数量上限。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在2006年12月召开的 IEEE 数据挖掘国际会议上（ICDM， International Conference on Data Mining），与会的各位专家选出了当时的十大数据挖掘算法（ top 10 data mining algorithms ），可以参见文献【1】。作为集成学习（Ensemble learning）的一个重要代表AdaBoost入选其中。但基于Boosting 思想设计的算法，也是常常用来同AdaBoost进行比较的另外一个算法就是Gradient Boost。它是在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一，在前几年深度学习还没有大行其道之时，Gradient Boost几乎横扫各种数据挖掘（Data mining）或知识发现（Knowledge discovery）竞赛。

梯度提升树（GBDT, Gradient Boosted Decision Trees），或称Gradient Tree Boosting，是一个以决策归树为基学习器，以Boost为框架的加法模型的集成学习技术。因此，GBDT也是 Boosting 算法的一种，但是和 AdaBoost 算法不同。区别在于：AdaBoost 算法是利用前一轮的弱学习器的误差来更新样本权重值，然后一轮一轮的迭代；而GBDT基于Gradient Boost算法。其主要思想是，每次建立模型是在之前建立模型损失函数的梯度下降方向。我们都知道，损失函数可用于评价模型性能，一般认为损失函数越小，性能越好。而让损失函数持续下降，就能使得模型不断调整提升性能，其最好的方法就是使损失函数沿着梯度方向下降。GBDT在此基础上，基于负梯度做学习。GBDT可以用来做回归，也可以用来做预测。在回归问题中，GBDT采用平方误差来作为损失函数。当损失函数