GBDT、XGBoost、LightGBM比较

1.GBDT

GBDT (Gradient Boosting Decision Tree) 梯度提升决策树。DT－Decision Tree决策树，GB是Gradient Boosting，是一种学习策略，GBDT的含义就是用Gradient Boosting的策略训练出来的DT模型

在前几年深度学习还没有大行其道之前，GBDT在各种竞赛是大放异彩。一是效果确实挺不错。二是即可以用于分类也可以用于回归。三是可以筛选特征。

Boosting共有的缺点为训练是按顺序的，难以并行，这样在大规模数据上可能导致速度过慢，所幸近年来XGBoost和LightGBM的出现都极大缓解了这个问题。XGBoost和LightGBM是GBDT的升级版。

支持以下应用:
1）回归，目标函数为 L2 loss
2）二分类， 目标函数为 logloss（对数损失）
3）多分类
4）ambdarank, 目标函数为基于 NDCG 的 lambdarank

GBDT学习总结（Boosting、决策树）
https://blog.youkuaiyun.com/zephyr_wang/article/details/106409307

XGBoost	LightGBM
默认基于 pre-sorted 的算法	基于 histogram 的算法
	Leaf-wise (Best-first) 的决策树生长策略
	连续的值替换为 discrete bins
<