机器学习算法总结--GBDT

参考如下

• 机器学习（四）— 从gbdt到xgboost
• 机器学习常见算法个人总结（面试用）
• xgboost入门与实战（原理篇）

简介

GBDT是一个基于迭代累加的决策树算法，它通过构造一组弱的学习器（树），并把多颗决策树的结果累加起来作为最终的预测输出。

算法介绍

GBDT是希望组合一组弱的学习器的线性组合，即有：

$$F^* = argminE_{x,y}[L(y,F(x))] \\ F(x; p_m, a_m) = \sum_{m=0}^M p_m h(x;a_m)$$
上述公式中 pm