由adboost, gbdt到xgboost，从目标函数说起

Adboost

原理

Adboost是利用前一轮弱学习器的误差率来更新训练集的权重，这样一轮轮的迭代下去，简单的说是Boosting框架+任意基学习器算法+指数损失函数。它是加法模型，学习的是前向分布学习算法，损失函数为指数函数的分类问题；另外，其基分类器可以为任何学习器，使用最广泛的是决策树和神经网络；对于决策树，使用CART分类回归树

目标函数

损失函数为指数函数，即定义损失函数为：
$$L=\underset{a,G}{\underbrace{argmin}}\sum _{i=1}^{m}exp(-y_i{f}_k(x))---（1）$$
其中，$f_k(x)$为第k轮的学习器$f_k(x)=\sum _{i=1}^k{\alpha }_i{G}_i(x)$, G(x)为基分类器，$\alpha$为每个基分类器的权重，m为样本数。
建立第k个基分类器时：
$$\begin{gathered} ({\alpha }_k,G_k(x))=\underset{\alpha ,G}{\underbrace{argmin}}\sum _{i=1}^{m}exp[(-y_i)(f_{k-1}(x)+\alpha G(x))] \\ =\underset{\alpha ,G}{\underbrace{argmin}}\sum _{i=1}^m{w}_{ki}^{\prime }exp[-y_i\alpha G(x)] \end{gathered}$$
注意此时对于单个基分类器$G_k(x)$而言，对任意的$\alpha$有
$$G_k(x)=\underset{G}{\underbrace{argmin}}\sum _{i=1}^m{w}_{ki}^{\prime }I(y_i\ne G(x_i))---（2）$$
继续公式（adboost-1）
$$\begin{gathered} \underset{\alpha ,G}{\underbrace{argmin}}\sum _{i=1}^m{w}_{ki}^{\prime }exp[-y_i\alpha G(x)] \\ =\underset{\alpha }{\underbrace{argmin}}\sum _{y_i=G_k}{w}_{ki}^{\prime }{e}^{-\alpha }+\sum _{y_i\ne G_k}{w}_{ki}^{\prime }{e}^{\alpha } \\ =(e^{\alpha }-e^{-\alpha })\sum _{i=1}^m{w}_{ki}^{\prime }I(y_i\ne G(x_i))+e^{-\alpha }\sum _{i=1}^m{w}_{ki}^{\prime } \end{gathered}$$
将求得的$G_k(x)$代入上式，并对$\alpha$求导，使之为0，即得到
$${\alpha }_k=\frac{1}{2}log\frac{1-e_k}{e_k}$$

其中，$e_k$即为我们前面的分类误差率。
　$$e_k=\frac{\sum _{i=1}^m{w}_{ki}^{{}^{\prime }}I(y_i\ne G(x_i))}{\sum _{i=1}^m{w}_{ki}^{{}^{\prime }}}=\sum _{i=1}^m{w}_{ki}I(y_i\ne G(x_i))$$

利用$f_k(x)=f_{k-1}(x)+{\alpha }_k{G}_k(x)$和$w_{ki}^{{}^{\prime }}=exp(-y_i{f}_{k-1}(x))$更新得到权重：
$$w_{k+1,i}^{{}^{\prime }}=w_{ki}^{{}^{\prime }}exp[-y_i{\alpha }_k{G}_k(x)]$$

由上可知，指数损失函数(1) 和 基分类器(2) 的选择，决定了样本权重的更新$w_{k+1,i}$和弱学习器的权重系数${\alpha }_k$。

GBDT

原理

相比于adboost，GBDT也是迭代，也使用了前向分布算法，但是弱学习器限定了只能使用CART回归树模型，同时迭代思路和Adaboost也有所不同，简单的说Boosting框架+CART回归树模型+任意损失函数。

目标函数

对于GBDT，其要优化的目标函数进行一阶泰勒展开：
$$L(y_0,y^{t-1}+f(x))=L(y_0,y^{t-1})+L^{\prime }(y_0,y^{t-1})f(x)$$
利用上式无法直接求得极小值，GBDT使用损失函数的负梯度来拟合，得到CART回归树

• 负梯度为 $r_{ti}=-\frac{\partial L(y_0,y_i^{t-1})}{\partial y_i^{t-1}}$
• 利用$(x_i,r_{ti})(i=1,2,...m)$，拟合第t颗回归树

通过损失函数的负梯度来拟合，我们找到了一种通用的拟合损失误差的办法，这样无轮是分类问题还是回归问题，我们通过其损失函数的负梯度的拟合，就可以用GBDT来解决我们的分类回归问题。区别仅仅在于损失函数不同导致的负梯度不同而已。

算法流程

输入是训练集 T = { ( x , y 1 ) , ( x 2 , y 2 ) , . . . ( x m , y m ) } T=\{(x_,y_1),(x_2,y_2), ...(x_m,y_m)\} T={(x,​y1​),(x2​,y2​),...(xm​,ym​)}，最大迭代次数T，损失函数为L.

输入是强学习器f(x)

1. 以$(x_i,y_i^0)(i=1,2,3,...m)$拟合得到CART回归树$f_0(x)$

2. 计算负梯度
   $$r_{ti}=-\frac{\partial L(y_0,y_i^{t-1})}{\partial y_i^{t-1}}$$

3. 以$(x_i,r_{ti})(i=1,2,3,...m)$，拟合下一颗CART树

4. 将所有树汇总
   $$F(x)=\sum _t{f}^t(x)$$

XGBOOST

原理

类似于GBDT，但将其目标函数展开到二次，并且直接加入正则化项，构成结构风险函数；Boosting框架+树模型+任意损失函数。 这里树模型分裂方式不同于CART采样gini系数或均方差，而是自定义的增益规则。

目标函数

$$Obj=L(y_0,y^{t-1}+f(x))=L(y_0,y^{t-1})+L^{\prime }(y_0,y^{t-1})f(x)+\frac{1}{2}{L}^{\prime \prime }(y_0,y^{t-1})f^2(x)$$

加上正则化项，以及所有的样本有，结构风险最小目标

$$\begin{array}{rl}Obj=& \\ & \sum _{i=1}^{n}L(y_0,y^{t-1})+L^{\prime }(y_0,y^{t-1})f(x)+\frac{1}{2}{L}^{\prime \prime }(y_0,y^{t-1})f^2(x))+\gamma \ast T+\frac{1}{2}\lambda \sum _{j=1}T{w}_j^2\end{array}$$

继续处理，其中w即是f(x)
$$\begin{array}{rl}& \sum _{i=1}^{n}L(y_0,y^{t-1})+L^{\prime }(y_0,y^{t-1})f(x)+\frac{1}{2}{L}^{\prime \prime }(y_0,y^{t-1})f^2(x))+\gamma \ast T+\frac{1}{2}\lambda \sum _{j=1}T{w}_j^2\\ & =\sum _{j=1}^T[G{w}_j+\frac{1}{2}(H+\lambda )w_j^2]+\gamma \ast T\end{array}$$
将其最小化，有
$$\begin{array}{rl}& w_j^{\ast }=-\frac{G_j}{H_j+\lambda }\\ & Obj=-\frac{1}{2}\sum _{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T\end{array}$$
对于下一颗树的学习，即寻找结点使得下式最大
$$Gain=\frac{1}{2}[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }]-\gamma$$

问题

1. 对比xgboost中可有目标函数得到分裂规则，gbdt由公式（1）怎样推导出使用负梯度来拟合的，为什么使用负梯度？

当损失函数是平方损失和对数损失时，每一步的优化是很简单的，但是对于一般的损失函数而言，往往每一步的优化不是那么容易，使用负梯度代替残差，从梯度下降考虑，可认为每一颗树拟合的是$\delta L^{\prime }$，其中$\delta$为1，也可以为其他值；对比xgboost，该方式类似于梯度下降求解，而xgboost类似于牛顿法的优化。

GBDT整个求解可分为两部分，一是求解真实值与前t-1颗树差异，这里即负梯度过程；二是利用负梯度拟合CART树，然后针对回归问题，使用均方差，针对分类问题使用Gini系数。

而XGBOOST直接将上述两部分结合在一起：一是该真实值与前t-1颗树差异可认为是$w^{\ast }$；二是直接利用公式来求最佳分裂点，而不利用均方差或者Gini系数。

2. AdaBoost算法 关于回归模型怎样处理的，怎样处理多分类的，注意的点？

• 统计学习方法：AdaBoost算法是模型为加法模型、损失函数为指数函数、学习算法为前向分步算法时的二类学习方法。

• 对于 回归问题，可使用 加法模型，前向分步算法，损失上为平方误差损失函数，该算法称为提升树算法。

• 多分类问题，参考文献，其每个分类器的权重需要变化。

• 损失函数最小和具体的弱分类器无关， 我们根据由不同的样本权重和弱分类器的类型计算得到弱分类器，然后$\alpha$通过最小化全局损失函数，得到当前的弱学习器的系数。

• adaboost和其他boosting算法最大的差异在于其利用梯度来更新权重，而其他（gbdt） 是将梯度作为学习目标。

Ref:

1. https://www.cnblogs.com/pinard/p/6140514.html
2. https://www.zhihu.com/search?type=content&q=gbdt

欢迎关注公众号：