【监督学习之梯度提升树（GBDT）】

曾梦想执剑走天涯，我是程序猿【AK】

简述概要

了解梯度提升树（GBDT）

知识图谱

梯度提升树（Gradient Boosting Decision Tree，简称GBDT）是一种集成学习算法，它通过结合多个决策树（通常是CART树）来提高预测性能。GBDT 是梯度提升（Gradient Boosting）算法的一种实现，它在各种机器学习竞赛和实际应用中都取得了显著的成绩。

基本原理：

GBDT 的核心思想是迭代地构建一系列决策树，每一棵树都尝试纠正前一棵树的预测错误。在每一轮迭代中，算法会计算当前模型的负梯度（损失函数的梯度），然后在这个负梯度的基础上训练一棵新的决策树。新树的输出会与前一轮的输出相加，形成下一轮的模型。这个过程会重复进行，直到达到预定的迭代次数或者模型的性能不再显著提升。

算法步骤：

1. 初始化：使用一个基准预测（如均值或中位数）作为初始模型。
2. 迭代&