GBDT学习笔记

 

GBDT(Gradient Boosting Decision Tree，Friedman，1999)算法自提出以来，在各个领域广泛使用。从名字里可以看到，该算法主要涉及了三类知识，Gradient梯度、Boosting集成算法和 Decision Tree决策树。

该算法是GREEDY FUNCTION APPROXIMATION A GRADIENT BOOSTING MACHINE一文提出来的，它既可以看成是一种 Ensemble 模型，也可以看成是一种基于 Gradient 的 Boosting 模型。该算法底层基于 CART（GBDT 主要基于回归树） 和函数空间的梯度降算法，除了具有树模型的可解释性强、有效处理混合类型的特征、伸缩不变性（不需要对数据标准化）、对缺失值鲁棒等优点，还具有预测能力强、稳定性好等优势。相比于它的后继算法 XGboost/LightGBM ， GBDT 只要求模型损失函数一阶可导，凸或非凸都适用;而 XGboost/LightGBM 对损失函数的要求更为苛刻，必须一阶二阶都可导，而且要求损失函数为严格的凸函数。

 

 

 

 

https://www.sohu.com/a/227107019_505779

https://www.cnblogs.com/pinard/p/6140514.html

转载于:https://www.cnblogs.com/bnuvincent/p/11221393.html