机器学习系列5：GBDT

1、GBDT的算法原理

原始论文地址：Greedy Function Approximation:A Gradient Bossting MAchine

原文很长，我这里只是简单介绍了GBDT的原理部分。最开始解除这个是在李航《统计学习方法》中，但李航书中介绍比较简单，这里参考一个博客，GBDT小结，讲的比较好(下面部分内容来自该博客，感谢博主，引用请指名原出处)。

提升树利用加法模型和前向分步算法实现学习的优化过程。当损失函数时平方损失和指数损失函数时，每一步的优化很简单，如平方损失函数学习残差回归树。

无论是分类还是回归：GBDT中用到的树都是回归树CART，不是分类树，GBDT也使用迭代决策算法，每一轮迭代生成的树都是拟合上一轮的残差，但和一般提升树不同的是，GBDT会用损失函数的负梯度（残差的减少方向）来拟合残差，叫伪残差。

假设我们的优化目标是：
$$F^{\ast }(x)=arg\underset{F(x)}{\min }{E}_{y,x}[L(y,F(x))]$$

预测函数$F(x)$的参数为：$ P={ P_1,P_2…P_M } , P_m= \beta_m,\alpha_m$，第m个弱分类器或者回归树表示为：$\beta_m h(x;\alpha_m)$, ${\beta }_m$ 为弱分类器的系数(权重)，${\alpha }_m$表示其参数，则有：

那么对于样本$[ {x_i,y_i } ]^N$,优化问题变为：
$$({\beta }_m,{\alpha }_m)=arg\underset{\alpha ,\beta }{\min }(\sum _{i=1}^N)L(y_i,F_{m-1}(x_i)+$$