集成学习算法梳理——GBDT

GBDT概述

GBDT(Gradient Boosting Decision Tree, 梯度提升决策树)不仅可以用于分类问题，还可以用于回归问题，GBDT的核心思想在于，每一棵树学习的是之前所有树的整体预测和标签的误差，这里称之为残差. 即给定A的真实年龄为18，第一棵树预测的年龄是12岁，那么第二棵树预测的目标应当是6岁(18-12)…

GBDT中的所有的树都是CART回归树，而不是分类树.

前向分步算法

对于加法模型
$$f(x)=\sum _{m=1}^M{\beta }_{m}b(x;{\gamma }_m)$$
其中$b(x;{\gamma }_m)$为基函数，${\gamma }_m$为基函数的参数，${\beta }_m$为基函数的系数.
在给定训练数据及损失函数的条件下，学习加法模型$f(x)$成为经验风险极小化即损失函数极小化问题.
min ⁡ β m , γ m ∑ i = 1 N L ( y i , ∑ m = 1 M β m b ( x i ; γ m ) ) \min_{\beta_m,\gamma_m}\sum_{i=1}^NL\Big(y_i,\sum_{m=1}^M\beta_mb(x_i;\gamma_m)) βm​,γm​min​