梯度提升树(GBDT)

提升树模型

提升树是以分类数或回归树为基本分类器的提升方法。提升方法实际采用加法模型（即基函数的线性组合）与前向分布算法，以决策树为基函数的提升方法为提升树（boosting tree）。基本分类器$x<v$或$x>v$，可以看作是一个根结点直接连接两个叶结点的简单决策树，也就是单层决策树，称为决策树桩（decision stump）。提升树模型可以表达为决策树的加法模型：$$F_m(\mathbf{x})=\sum _{t=1}^{m}f(\mathbf{x};{\theta }_t)$$
其中$f(\mathbf{x};{\theta }_j)$为第$j$棵决策树，${\theta }_j$为参数。
提升树采用前向分布算法，确定初始提升树$f_0(\mathbf{x})=0$,第$m$次提升的模型为：$$F_m(\mathbf{x})=F_{m-1}(\mathbf{x})+f(\mathbf{x};{\theta }_m)$$
其中，$F_{m-1}(\mathbf{x})$为前$m-1$个决策树组成的集成分类器,通过最小化经验风险来确定第$m$棵树的参数：
$${\theta }_m=\arg \underset{\theta }{\min }\sum _{i=1}^{N}L(y_i,F_{m-1}({\mathbf{x}}_i)+f({\mathbf{x}}_i;\theta ))$$
不同问题的提升树算法，主要区别是使用的损失函数不同。对于二分类问题，提升树算法是AdaBoost算法的特殊情况。这里叙述回归问题的提升树。
已知训练集{(xi,yi)}1N\{(\mathbf{x}_{i},y_{i})\}_{1}^{N}{(xi​,yi​)}1N​，如果将输入空间划分为$J$个不相交的区域$R_1,R_2,...,R_J$，并且每个区域确定输出的常量$c_j$，树可表示为：$$f(\mathbf{x};\theta )=\sum _{j=1}^J{c}_{j}I(\mathbf{x}\in R_j)$$
其中，参数θ={(Rj,cj)}1N\theta=\{(R_{j},c_{j})\}_{1}^{N}θ={(Rj​,cj​)}1N​表示树的区域划分和区域的常数值。$J$是回归树的复杂度，即叶节点的个数。
当误差函数为平方损失误差为：$$L(y,f(x))=(y-f(x){)}^2$$
$$L(y,F_{m-1}(\mathbf{x})+f(\mathbf{x};\theta ))=L[y-F_{m-1}(\mathbf{x})-f(\mathbf{x};\theta ){]}^2=[r-f(\mathbf{x};\theta ){]}^2$$
$r=y-F_{m-1}(\mathbf{x})$是当前模型拟合数据的残差(residual)。所以，回归问题的提升树算法只需要拟合当前模型的残差。
回归问题的提升树算法：
输入：训练数据集{(xi,yi)}1N\{(\mathbf{x}_{i},y_{i})\}_{1}^{N}{(xi​,yi​)}1N​
输出：提升树$F_M(\mathbf{x})$
初始化$f_0(\mathbf{x})=0$
对$m=1,2,...,M$:
---------计算残差$r_{mi}=y_i-F_{m-1}({\mathbf{x}}_i),i=1,2,...,N$
---------拟合残差学习一个回归树，得到回归树$f(\mathbf{x};{\theta }_{\mathbf{m}})$
---------更新$F_m(\mathbf{x})=F_{m-1}(\mathbf{x})+f(\mathbf{x};{\theta }_{\mathbf{m}})$
最终得到的回归提升树：$$F_M(\mathbf{x})=\sum _{m=1}^{M}f(\mathbf{x};{\theta }_m)$$
例子: 学习这个回归问题的提升树模型，考虑只用树桩做为基函数。

x	1	2	3	4	5	6	7	8	9	10
y	5.56	5.70	5.91	6.40	6.80	7.05	8.90	8.70	9.00	9.05

第一步求回归树$f_1(x)$，通过以下优化问题：
$$m(s)=\underset{c_1}{\min }\sum _{x_i\in R_1}(y_i-c_1{)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2}(y_i-c_2{)}^2$$
求解训练数据的切分点$s$：R1={x∣x≤s},R2={x∣x&gt;s}R_{1}=\{x|x\leq s\}, R_{2}=\{x|x&gt;s\}R1​={x∣x≤s},R2​={x∣x>s}。容易求得在$R_1,R_2$内部使平方误差达到最小值的$c_1,c_2$为：
$$c_1=\frac{1}{N_1}\sum _{x_i\in R_1}{y}_i,c_2=\frac{1}{N_2}\sum _{x_i\in R_2}{y}_i$$

根据所给的数据，考虑如下的切分点：$1.5,2.5,3.5,4.5,5.5,6.5,7.5,8.5,9.5$
例如：当s=1.5时,R1={1}，R2={2,3,...,10},c1=5.56,c2=7.50,m(s)=15.72s=1.5时,R_{1}=\{1\}，R_{2}=\{2,3,...,10\},c_{1}=5.56,c_{2}=7.50,m(s)=15.72s=1.5时,R1​={1}，R2​={2,3,...,10},c1​=5.56,c2​=7.50,m(s)=15.72
现将$s$及$m(s)$的计算结果列表如下：

s	1.5	2.5	3.5	4.5	5.5	6.5	7.5	8.5	9.5
m(s)	15.72	12.07	8.36	5.78	3.91	1.93	8.01	11.73	15.74

由上表可知，当$s=6.5$时，$m(s)$达到最小值，此时R1={1,2,...,6},R2={7,8,9,10},c1=6.24,c2=8.91R_{1}=\{1,2,...,6\},R_{2}=\{7,8,9,10\},c_{1}=6.24,c_{2}=8.91R1​={1,2,...,6},R2​={7,8,9,10},c1​=6.24,c2​=8.91,所以回归树$$f_1(x)=\{\begin{array}{c}6.24,x<6.5\\ 8.91,x\ge 6.5\end{array}$$
用$f_1(x)$拟合训练数据的残差如下表所示：$r_{2i}=y_i-f_1(x_i)$

$x$	1	2	3	4	5	6	7	8	9	10
$r_{2i}$	-0.68	-0.54	-0.33	0.16	0.56	0.81	-0.01	-0.21	0.09	0.14

用$F_1(x)$拟合训练数据的平方损失误差：$$L(y,F_1(x))=\sum _{i=1}^{10}(y_i-F_1(x_i){)}^2=1.93$$
采用与上面相同的方法拟合残差数据：$$f_2(x)=\{\begin{array}{c}-0.52,x<3.5\\ 0.22,x\ge 3.5\end{array}$$

依次类推可得：
$$f_3(x)=\{\begin{array}{c}0.15,x<6.5\\ -0.22,x\ge 6.5\end{array},f_4(x)=\{\begin{array}{c}-0.16,x<4.5\\ 0.11,x\ge 4.5\end{array}$$
$$f_5(x)=\{\begin{array}{c}0.07,x<6.5\\ -0.11,x\ge 6.5\end{array},f_6(x)=\{\begin{array}{c}-0.15,x<2.5\\ 0.04,x\ge 2.5\end{array}$$
$$F_6(x)=F_5(x)+f_6(x)=f_1(x)+f_2(x)+...+f_6(x)=\{\begin{array}{c}5.63,x<2.5\\ 5.82,2.5\le x<3.5\\ 6.56,3.5\le x<4.5\\ 6.83,4.5\le x<6.5\\ 8.95,x\ge 6.5\end{array}$$
用$F_6(x)$拟合训练数据的平方损失函数误差是：$$L(y,F_6(x))=\sum _{i=1}^{10}L(y_i,F_6(x_i))=0.17$$
假设此时已满足误差要求，那么$F_6(x)$就是所求的提升树。

梯度提升

提升树利用加法模型和前向分步算法实现学习的优化过程。当损失函数为平方损失函数和指数损失函数时，每一步的优化很容易实现，但对一般的损失函数而言，优化困难。Freidman提出了梯度提升方法（gradient boosting），利用损失函数的负梯度在当前模型的值：
$$-[\frac{\partial L(y_i,F({\mathbf{x}}_i))}{\partial F({\mathbf{x}}_i)}{]}_{F(\mathbf{x})=F_{m-1}(\mathbf{x})}$$
作为回归问题提升树中残差的近似值来优化。
梯度提升的一般框架
对于第$m$步，$$({\beta }_m,a_m)=\arg \underset{\beta ,a}{\min }\sum _{i=1}^{N}L(y_i,F_{m-1}({\mathbf{x}}_i)+\beta h({\mathbf{x}}_i;a))$$
上述的误差可能很难去直接优化，不妨先通用的求解梯度：
$$-g_m({\mathbf{x}}_i)=-[\frac{\partial L(y_i,F({\mathbf{x}}_i))}{\partial F({\mathbf{x}}_i)}{]}_{F(\mathbf{x})=F_{m-1}(\mathbf{x})}$$
我们先把$F_{m-1}({\mathbf{x}}_i)$看做一个整体，也就是一个参数。求解梯度后，我们通常会这样更新：$$F_m({\mathbf{x}}_i)=F_{m-1}({\mathbf{x}}_i)-g_m({\mathbf{x}}_i)$$
此时，$F_m({\mathbf{x}}_i)$就要比$F_{m-1}({\mathbf{x}}_i)$更优。但是我们的目的是要得到如下而不是更新$F({\mathbf{x}}_i)$：$$F_m({\mathbf{x}}_i)=F_{m-1}({\mathbf{x}}_i)+\beta h({\mathbf{x}}_i;a)$$
所以新组合得到的分类器就要去拟合负梯度：
$$a_m=\arg \underset{a,\beta }{\min }\sum _{i=1}^N[-g_m({\mathbf{x}}_i)-\beta h({\mathbf{x}}_i;a){]}^2$$
${\beta }_m$无需求解的原因是下面求解的${\rho }_m$可能会比其更优：
$${\rho }_m=\arg \underset{\rho }{\min }\sum _{i=1}^{N}L(y_i,F_{m-1}({\mathbf{x}}_i)+\rho h({\mathbf{x}}_i;a_m))$$
更新组合分类器：
$$F_m({\mathbf{x}}_i)=F_{m-1}({\mathbf{x}}_i)+{\rho }_{m}h({\mathbf{x}}_i;a_m))$$
框架伪代码：