GBDT详细分析 未完

GBDT是boosting策略和决策树的结合,GBDT有很多简称，有GBT（Gradient Boosting Tree）, GTB（Gradient Tree Boosting ）， GBRT（Gradient Boosting Regression Tree）, MART(Multiple Additive Regression Tree)，其实都是指的同一种算法

所谓的Gradient Boosting 其实就是在更新的时候选择梯度下降的方向来保证最后的结果最好，一些书上讲的“残差” 方法其实就是L2Boosting，因为它所定义的残差其实就是L2Boosting的Derivative

1. 回归问题的提升树算法基本公式

1).基本分类器：回归树

2).决策树的加法模型：

3).学习策略：平方误差损失函数