集成模型(2)GBDT用于分类和回归及其python实现

adaboost用于分类的时候其实是模型为加法模型，损失函数为指数损失函数的算法，用于回归的时候是是损失函数为平方误差的损失函数，但是当损失函数为一般损失函数的时候，优化会变得比较复杂，例如我们分类使用对数损失函数，那么前面我们求解基函数权值和样本更新权值的过程就会变得比较复杂，这时候提出了一种新的解决方案——GBDT(Gradient Boosting Decision Tree，梯度提升树)。

1.GBDT回归

1.1基本思想

GBDT用于回归问题时，核心思想是利用损失函数的负梯度在当前模型的值作为回归问题提升树算法中残差的近似。然后拟合一个回归树，并且当损失函数为均方误差时，负梯度的值就是残差。其实现过程和AdaBoost用于回归时的差别就在于残差的计算方式上面。

1.2算法流程：

输入：训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } ， x i ∈ R n , y i ∈ R T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}，x_i\in R^n,y_i\in R T={ (x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，xi​∈Rn,yi​∈R，损失函数$L(y,f(x))$；

1. 初始化：$f_0(x)=argmi{n}_c{\sum }_{i=1}^{N}L(y_i,c)$
2. 对$m=1,2,...,M$:
   (a)对$i=1,2,...,N$计算$r_{m,i}=-[\frac{L(y_i,f(x_i))}{f(x_i)}{]}_{f(x)=f_{m-1}(x)}$
   (b)对$r_{m,i}$拟合回归树，得到第m个基模型的叶节点区域$R_{m,j},j=1,2,..,J$
   (c) 对$j=1,2,...,J$计算叶节点区域$R_{m,j}$的最佳输出值：$c_{m,j}=argmi{n}_c{\sum }_{x_i\in R_{m,j}}L(y_i,f_{m-1}(x_i)+c)$
   (d)更新$f_m(x)=f_{m-1}(x)+{\sum }_{j=1}^J{c}_{m,j}I(x\in R_{m,j})$
3. 生成加法模型，$f(x)={\sum }_{m=1}^{}$