【机器学习】机器学习的基本分类-监督学习-梯度提升树（Gradient Boosting Decision Tree, GBDT）

梯度提升树是一种基于**梯度提升（Gradient Boosting）**框架的机器学习算法，通过构建多个决策树并利用每棵树拟合前一棵树的残差来逐步优化模型。

---

1. 核心思想

• Boosting：通过逐步调整模型，使后续的模型重点学习前一阶段未能正确拟合的数据。
• 梯度提升：将误差函数的负梯度作为残差，指导新一轮模型的训练。

与随机森林的区别

特性	随机森林	梯度提升树
基本思想	Bagging	Boosting
树的训练方式	并行训练	顺序训练
树的类型	完全树	通常是浅树（弱学习器）
应用场景	抗过拟合、快速训练	高精度、复杂任务

---

 

2. 算法流程

1. 输入：

   • 数据集 ​。
   • 损失函数 ，如平方误差、对数似然等。
   • 弱学习器个数 T 和学习率 η。

2. 初始化模型：