Boosting算法 --- GBDT、XGBoost、LightGBM

终于有人把XGBoost 和 LightGBM 讲明白了，项目中最主流的集成算法！

https://blog.51cto.com/15080014/2620433

 

Boosting算法 --- GBDT、XGBoost、LightGBM

https://blog.youkuaiyun.com/zwqjoy/article/details/80424783

 

我是搞最优化的, 从最优化的角度来看:

GBDT采用的是数值优化的思维, 用的最速下降法去求解Loss Function的最优解, 其中用CART决策树去拟合负梯度, 用牛顿法求步长.

XGboost用的解析的思维, 对Loss Function展开到二阶近似, 求得解析解, 用解析解作为Gain来建立决策树, 使得Loss Function最优.

 

揭秘Kaggle神器xgboost

https://blog.youkuaiyun.com/qunnie_yi/article/details/80129857

xgboost入门与实战（原理篇）

https://blog.youkuaiyun.com/sb19931201/article/details/52557382

 

GBDT,XGBoost,LightGBM区别

https://zhuanlan.zhihu.com/p/148588275

 

机器学习实战：使用lightGBM预测饭店流量

https://blog.youkuaiyun.com/hellozhxy/article/details/82461757