8.GDBT算法原理及实现

GBDT

一、概念

   $GBDT(GradientBoostingDecisionTree)$ 梯度提升决策树，是 $GradientBoosting$ 框架下使用的较多的一个模型，且在 $GBDT$ 中，其基学习器是分类回归树，也就是 $CART$（详见 3.决策树原理与数学建模实战），且使用的是 $CART$ 树中的回归树。

  决策树分为两大类：回归树与分类树。前者用于预测实数值，后者用于分类标签值，其区别是，前者的结果加减是有意义的，如，$10元+3元=13元$，后者的加减是无意义的，如：$男+女=？$

  $GBDT$ 的核心在于累加所有树的结果作为最终结果。而分类树的结果显然是没有办法累加的，所以 $GBDT$ 中的树都是回归树，不是分类树（尽管 $GBDT$ 也可以用作分类但不代表所使用的树是分类树）。

二、算法原理

2.1 原理

  $GradientBoosting$ 集成了 $Boosting$ 的思想，利用加法模型与前向分布算法实现学习的优化过程。每个基学习器在上一轮学习器的基础上进行训练。对弱学习器 （弱分类器）的要求一般足够简单，并且是低方差和高偏差的（欠拟合）。因为训练的过程就是通过降低偏差不断提高最终学习器的精度。

  它根据当前模型损失函数的负梯度信息来训练新加入的弱分类器，然后将训练好的弱分类器以累加的形式结合到现有的模型中。其算法伪码如下：

2.2 算法流程

---

$Algorithm:$

---

1. $F_0(x)=\arg {\min }_p\sum _{i=1}^{N}L(y_i,\rho )$
2. $Form=1toMdo:$
3. ${\tilde{y}}_i=[\frac{\partial L(y_i),F(x_i)}{\partial F(x_i)}{]}_{F(x)=F_{m-1(X)}}i=1,\dots ,M$
4. $a_m=\arg {\min }_{\alpha ,\beta }\sum _{i=1}^N[{\tilde{y}}_i=\beta h(x_i:a){]}^2$
5. ${\rho }_m=\arg {\min }_{\rho }\sum _{i=1}^{N}L(y_i,F_{m-1}(x_i)+\rho h(x_i:a_m))$
6. $F_m(x)=F_{m-1}(x)+{\rho }_{m}h(x:a_m)$
7. $endFor$
8. $endAlgorithm$

---

  $GBDT$的核心就在于，每一棵树学习的是之前所有树结论和的残差，这个残差就是一个加预测值后能得真实值的累加量。

  比如 $A$ 的真实年龄是 $18$ 岁，但第一棵树的预测年龄是12岁，差了6岁，即残差为6岁。那么在第二棵树里我们把 $A$ 的年龄设为6岁去学习，如果第二棵树真的能把 $A$ 分到6岁的叶子节点，那累加两棵树的结论就是 $A$ 的真实年龄；如果第二棵树的结论是5岁，则 $A$ 仍然存在 1 岁的残差，第三棵树里 $A$ 的年龄就变成1岁。如果我们的迭代轮数还没有完，可以继续迭代下面每一轮迭代，拟合的岁数误差都会减小。

2.3 目标函数

  模型一共训练 $M$ 轮，每轮产生一个弱学习器 $T（x;{\theta }_m)$。弱学习器的目标函数可以表示为：
$$\widehat{{\theta }_m}=\sum _{i=1}^{\arg \min N}L(y_i,F_{m-1}(x_i)+T(x;{\theta }_m))$$
  $F_{m-1}(x_i)$ 为当前的模型，$GBDT$ 通过经验风险极小化来确定下一个弱学习器的参数。具体使用到的损失函数的选择也就是这里的 $L$，主要有平方损失函数，$0-1$ 损失函数，对数损失函数等等。如果我们选择平方损失函数，那么这个差值其实就是我们平常所说的残差。

  目标：第一个是希望我们的损失函数能够不断减小；第二个是希望我们的损失函数能够尽可能快地减小。

  让损失函数沿着负梯度方向的下降，是 $GBDT$ 的 $GB$ 另外一个核心。利用损失函数的负梯度在当前模型的值，作为回归提升树算法中的残差的近似值去拟合一个回归树。$GBDT$ 每轮迭代的时候，都去拟合损失函数在当前模型下的负梯度。

  这样每轮训练的时候都能够让损失函数尽可能快的减小，尽快地收敛达到局部最优或者全局最优。

2.4 梯度提升于梯度下降

  两者对比可用下表表示：

梯度提升	函数空间$F$	$F=F_{t-1}-{\rho }_t{\nabla }_{F}L{|}_{F=F_{t-1}}$	$L=\sum L(y_i,F(x_i))$
梯度下降	参数空间$W$	$w_t=w_{t-1}-{\rho }_t{\nabla }_{w}L{|}_{w=w_{t-1}}$	$L=\sum L(y_i,f_w(w_i))$

  可以发现，两者都是在每一轮迭代中，利用损失函数相对于模型的负梯度方向的信息来对当前模型进行更新，只不过在梯度下降中，模型是以参数化形式表示，从而模型的更新等价于参数的更新。而在梯度提升中，模型并不需要进行参数化表示，而是直接定义在函数空间中，从而大大扩展了可以使用的模型种类。

三、Python实现

  $GBDT$ 封装在 sklearn.ensemble 中，其分类器 GradientBoostingClassifier 与回归器 GridientBoostingRegressor 接口皆在此包内。

from sklearn.datasets import load_boston
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt

X, y = load_boston(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.3, random_state=42)

gbdt = GradientBoostingRegressor()
gbdt.fit(X_train, y_train)

plt.plot(y_test, 'r', label='True')
plt.plot(gbdt.predict(X_test), 'b', label='Predict')
plt.legend()
plt.savefig('E:/Computer/Desktop/数模/有监督学习/集成学习/gbdt.png', dpi=400)

  拟合效果如下：

四、XGBoost

4.1 概念

   $XGBoost$ 本质上还是 $GBDT$，但是把速度和效率做到了极致；

  不同于传统的 $GBDT$ 方式，只利用了一阶的导数信息，$XGBoost$ 对损失函数做了二阶的求导 （泰勒展开），并在目标函数之外加入了正则项整体求最优解，用以权衡目标函数的下降和模型的复杂程度，避免过拟合。

   $XGBoost$ 继承了 $GBDT$ ，模型也是 $CART$ , 但不仅限于回归树。因此还是沿用了加法模型，但是在目标函数上有所区别。

4.2 区别与联系

  原始的 $GBDT$ 算法基于经验损失函数的负梯度来构造新的决策树，只是在决策树构建完成后再进行剪枝。而 $XGBoost$ 在决策树构建阶段就加入了正则项，即：
$$L_t=\sum _{i}l(y_i,F_{t-1}(x_i))+\Omega f(x_t)$$
  其中 $F_{t-1}(x_i)$ 表示现有的 $t-1$ 棵树的最优解，关于树结构的正则化项定义为：
$$\Omega (f_t)=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2$$
  其中 $T$ 为叶子节点个数，$w_j$ 表示第 $j$ 个叶子节点的预测值。对该损失函数在 $F_{t-1}$ 处进行二阶泰勒展开可以推导出：
$$L_t\approx \widetilde{L_t}=\sum _{j=1}^T[G_j{w}_j+\frac{1}{2}(H_j+\lambda )w_j^2]+\gamma T$$
  其中 $T$ 为决策树 $f_t$ 中叶子节点的个数，$G_j=\sum _{i\in I_j}{\nabla }_{F_{t-1}}I(y_i,F_{t-1}(x_i))$，$H_j=\sum _{j\in I_j}{\nabla }_{F_{t-1}}^{2}l(y_i,F_{t-1}(x_i))$，$I_j$ 表示所有属于叶子节点 $j$ 的样本的索引的结合。

  假设决策树的结构已知，通过令损失函数相当于 $w_j$ 的导数为 0 可以求出在最小化损失函数的情况下各个叶子节点上的预测值
$$w_j^{\ast }=-\frac{G_j}{H_j+\lambda }$$
  然而从所有的树结构中寻找最优的树结构是一个 $NP-hard$ 问题，因此在实际中往往采用贪心法来构建出一个次优的树结构，基本思想是从根节点开始，每次对一个叶子节点进行分裂，针对每一种可能的分裂，根据特定的准则选取最优的分裂。不同的决策树算法采用不同的准则，如 $ID3$ 采用信息增益，$C4.5$ 为了克服信息增益中容易偏向取值较多的特征而采用信息增益比， $CART$ 算法使用基尼指数和平方误差，$XGBoost$ 也有特定的准则来选取最优分裂。

  通过将预测值代入到损失函数中可求得损失函数的最小值
$$\widetilde{L_t^{\ast }}=-\frac{1}{2}\sum _{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T$$
  容易计算出分裂前后损失函数的差值为：
$$Gain=\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }-\gamma$$
  $XGBoost$ 采用最大化这个差值作为准则来进行决策树的构建，通过遍历所有特征的所有取值，寻找使得损失函数前后相差最大时对应的分裂方式，此外，由于损失函数前后存在差值一定为正的限制，此时 $\gamma$ 起到了一定的预剪枝效果。

  除了算法上与传统的 $GBDT$ 有一些不同外，$XGBoost$ 还在工程实现上做了大量优化，总的来说，二者联系可以分为以下几个部分：

1. $GBDT$ 是机器学习算法，$XGboost$ 是该算法的工程实现；
2. 在使用 $CART$ 作为基分类器时，$XGBoost$ 显式的加入了正则项来控制模型的复杂度，有利于防止过拟合，从而提高模型的泛化能力；
3. $GBDT$ 在模型训练时只使用了代价函数的一阶导数信息，$XGBoost$ 对代价函数进行二阶泰勒展开，可以同时使用一阶和二阶导数；
4. 传统 $GBDT$ 采用 $CART$ 作为基分类器，$XGBoost$ 支持多种类型的基分类器，如线性分类器；
5. 传统的 $GBDT$ 在每轮迭代时使用全部的数据，$XGBoost$ 则采用了与随机森林相似的策略，支持对数据进行采样；
6. 传统 $GBDT$ 没有设计对缺失值进行处理，$XGBoost$ 能够自动学习出缺失值的处理策略。

四、小结

$GBDT$:

---

优点：

1. 可以灵活处理各种类型的数据，包括连续值和离散值；
2. 在相对较少的调参时间情况下，预测的准确率也可以比较高，这个是相较于 $SVM$ 的；
3. 使用一些健壮的损失函数，对异常值的鲁棒性非常强，比如 $Huber$ 损失函数和 $Quantile$ 损失函数；
4. 很好的利用弱分类器进行级联；
5. 充分考虑的每个分类器的权重；

缺点：

对异常样本敏感，异常样本在迭代中可能获得较高的权重，影响最终的强学习器的预测准确性。

---

$XGBoost:$

---

优点：

1. 对缺失值不敏感，可以给缺失值自动划分方向；
2. 可以引入阈值限制树分裂，控制树的规模，防止过拟合问题；
3. 分裂依据分开后与未分前的差值增益，不用每个节点排序算增益，减少计算量，可以并行计算

缺点：

1. 当预测器有很多类别时，容易过拟合；
2. 参数过多，调参困难；
3. 如果采取精确搜索算法对内存消耗过大，且不支持分布式。

---

值不敏感，可以给缺失值自动划分方向；
2. 可以引入阈值限制树分裂，控制树的规模，防止过拟合问题；
3. 分裂依据分开后与未分前的差值增益，不用每个节点排序算增益，减少计算量，可以并行计算

缺点：

1. 当预测器有很多类别时，容易过拟合；
2. 参数过多，调参困难；
3. 如果采取精确搜索算法对内存消耗过大，且不支持分布式。

---