GBDT算法梳理

0、预备知识

0.1回归树

首先，GBDT使用的决策树是CART回归树，无论是处理回归问题还是二分类以及多分类，GBDT使用的决策树通通都是都是CART回归树。为什么不用CART分类树呢？因为GBDT每次迭代要拟合的是梯度值，是连续值所以要用回归树。

对于回归树算法来说最重要的是寻找最佳的划分点，那么回归树中的可划分点包含了所有特征的所有可取的值。在分类树中最佳划分点的判别标准是熵或者基尼系数，都是用纯度来衡量的，但是在回归树中的样本标签是连续数值，所以再使用熵之类的指标不再合适，取而代之的是平方误差，它能很好的评判拟合程度。回归树是如何工作的呢？

下面以对人的性别判别/年龄预测为例来说明，每个instance都是一个我们已知性别、年龄的人，而feature则包括这个人上网的时长、上网的时段、网购所花金额等。

作为对比，先说分类树。我们知道C4.5分类树在每次分枝时是穷举每一个feature的每一个阈值，找到使得按照feature<=阈值和feature>阈值分成的两个分支的熵最大的feature和阈值，按照该标准分支得到两个新节点，同样方法继续分支直到所有人都被分入性别唯一的叶节点，或达到预设的终止条件。若最终叶子节点中的性别不唯一，则以多数人的性别作为该叶子节点的性别。

回归树流程类似，不过在每个节点（不一定是叶子节点）都会得一个预测值，以年龄为例，该预测值等于属于这个节点的所有人年龄的平均值。分支时穷举每一个feature的每个阈值寻找最好的分割点，但衡量最好的标准不再是最大熵二十最小化均方差，这很好理解，被预测出错的人数越多，错的越离谱，均方差就越大。通过最小化均方差能够找到最靠谱的分支依据，若最终叶子节点上人的年龄不唯一，则以该节点上所有人的平均年龄作为该叶子节点的预测年龄。

0.2.提升树算法

基于梯度提升算法的学习器叫做GBM(Gradient Boosting Machine)。梯度提升树（Grandient Boosting）是提升树（Boosting Tree）的一种改进算法，所以在讲梯度提升树之前先来说一下提升树。

先来个通俗理解：假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁拟合剩下的差距，差距就只有一岁了。如果我们的迭代轮数还没有完，可以继续迭代下面，每一轮迭代，拟合的岁数误差都会减小。最后将每次拟合的岁数加起来便是模型输出的结果。

1、前向分布算法

在AdaBoost算法中，我们的最终目的是通过构建弱分类器的线性组合：
$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$
来得到最终分类器。
考虑加法模型：
$$f(x)=\sum _{m=1}^M{\beta }_{m}b\left(x;{\gamma }_m\right)$$

显然，AdaBoost算法是基于加法模型。在给定训练数据及损失函数L(y,f(x))的条件下，学习加法模型f(x)成为经验风险极小化及损失函数极小化问题：

$$\underset{{\beta }_m,{\gamma }_m}{\min }\sum _{i=1}^{N}L\left(y_i,\sum _{m=1}^M{\beta }_{m}b\left(x_i;{\gamma }_m\right)\right)$$

通常这是一个复杂的优化问题，前向分步算法（forward stagewise algorithm）求解这一优化问题的想法是：因为学习的是加法模型。如果能够从前向后，每一步只学习一个基函数及其系数，逐步逼近优化目标函数式，那么就可以简化优化的复杂度。具体地，每步只需优化如下损失函数：
$$\underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L\left(y_i,\beta b\left(x_i;\gamma \right)\right)$$

给定训练数据集T={(x1,y1),(x2,y2),⋯&ThinSpace;,(xN,yN)},xi∈X⊆Rn,yi∈Y={−1,+1}T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}, x_{i} \in \mathcal{X} \subseteq \mathbf{R}^{n}, y_{i} \in \mathcal{Y}=\{-1,+1\}T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)},xi​∈X⊆Rn,yi​∈Y={−1,+1}，损失函数$L(y,f(x))$和基函数的集合{b(x;γ)}\{b(x ; \gamma)\}{b(x;γ)}，学习加法模型f(x)的前向分布算法如下：

2、负梯度拟合

AdaBoost算法是模型为加法模型，损失函数为指数函数，学习算法为前向分步算法时的分类问题。而GBDT算法时模型为加法模型，学习算法为前向分步算法，基函数为CART树，损失函数为平方损失函数的回归问题，为指数函数的分类问题和为一般损失函数的一般决策问题。针对学习器的不足上，AdaBoost算法是通过提升错分数据点的权重来定位模型的不足，而梯度提升算法是通过算梯度来定位模型的不足。

负梯度拟合具体来说，当GBDT的损失函数是平方损失时，即：$L(y,f(x))=\frac{1}{2}(y-f(x){)}^2$时，则负梯度为$-\frac{\partial L}{\partial f(x)}=y-f(x)$，而$y-f(x)$即为我们所说的残差，而GBDT的思想就是在每次迭代中拟合残差来学习一个弱学习器，而残差的方向即为我们全局最优的方向。
但当损失函数不为平方损失函数时，我们如何拟合弱学习器呢？Friedman提出了梯度提升树算法，这是利用最速下降的近似方法，其关键是利用损失函数的负梯度作为提升树算法中的残差的近似值。

第t轮的第i个样本的损失函数的负梯度为：

$$-\frac{\partial L\left(y,f\left(x_i\right)\right))}{\partial f\left(x_i\right)}$$

GradientDescend与GradientBoosting：

GBDT算法：

（1）初始化弱学习器

$$f_0(x)=\arg \underset{c}{\min }\sum _{i=1}^{N}L\left(y_i,c\right)$$

（2）对$m=1,2,\dots ,M$有：

• a.对每个样本$i=1,2,\dots ,N$，计算负梯度，即残差：

$$r_{im}=-\frac{\partial L\left(y_i,f\left(x_i\right)\right)}{\partial f\left(x_i\right)}$$

• b.将上步得到的残差作为样本新的真实值，并将数据$\left(x_i,r_{im}\right),i=1,2,\dots N$作为下棵树的训练数据，得到一棵新的回归树$f_m(x)$及其对应的叶子节点区域为$R_{jm},j=1,2,\dots ,J$。其中$J$为回归树$t$的叶子节点的个数。

-c.对叶子区域$j=1,2,\dots J$计算最佳拟合值

$${{\rm Y}}_{jm}=\underset{{\rm Y}}{\underbrace{\arg \underset{{\rm Y}}{\min }}}\sum _{x_i\in R_{jm}}L\left(y_i,f_{m-1}\left(x_i\right)+{\rm Y}\right)$$

-d.更新强学习器

$$f_m(x)=f_{m-1}(x)+\sum _{j=1}^J{{\rm Y}}_{jm}I\left(x\in R_{jm}\right)$$

（3）得到最终学习器

$$f(x)=f_M(x)=f_0(x)+\sum _{m=1}^M\sum _{j=1}^J{{\rm Y}}_{jm}I\left(x\in R_{jm}\right)$$

3、损失函数

3.1 回归树损失函数

（1）ls：平方损失，这是最常见的损失函数：
$$L(y,f(x))=(y-f(x){)}^2$$
（2）lad：绝对损失函数：
$$L(y,f(x))=|y-f(x)|$$
对应的负梯度为：
$$r\left(y_i,f\left(x_i\right)\right)=\mathrm{sign}\left(y_i-f\left(x_i\right)\right)$$
（3）huber损失，它是平方损失和绝对损失的结合，对于远离中心点的异常点采用绝对损失，中心点附近的点采用平方损失。这个界限一般用分位数点度量。损失函数如下：
$$L(y,f(x))=\{\begin{array}{ll}\frac{1}{2}(y-f(x){)}^2& \text{ if }|y-f(x)|\le \delta \\ \delta \left(|y-f(x)|-\frac{\delta }{2}\right)& \text{ if }|y-f(x)|>\delta \end{array}$$

（4）quantile分位数损失。它对应的是分位数回归的损失函数：
$$L(y,f(x))=\sum _{y\ge f(x)}\theta |y-f(x)|+\sum _{y<f(x)}(1-\theta )|y-f(x)|$$
其中$\theta$为分位数，需要我们在回归前指定。对应的负梯度为：
$$r\left(y_i,f\left(x_i\right)\right)=\{\begin{array}{ll}\theta & \text{ if }{y}_i\ge f\left(x_i\right)\\ \theta -1& \text{ if }{y}_i<f\left(x_i\right)\end{array}$$

3.2 分类树损失函数

（1）指数损失：
$$L(y,f(x))=\exp (-yf(x))$$

（2）对数损失：
$$L(y,f(x))=\ln (1+\exp (-2yf(x)))$$

4、回归

当我们选择的loss function为Least-square，即$L(y,f(x))=(y-f(x){)}^2$，算法过程为：

5、二分类，多分类

5.1 二分类：

loss function是logloss，$L(y,f(x))=\ln (1+\exp (-2yf(x)))$，算法描述为：

5.2 多分类问题

算法描述：

从代码上看，大致和分类时候的过程一样。最大的不同点在于多了一层内部的循环For。

这里需要注意的是：
1.对于多分类任务，GDBT的做法是采用一对多的策略（详情见文章）。
也就是说，对每个类别训练M个分类器。假设有K个类别，那么训练完之后总共有M*K颗树。
2.两层循环的顺序不能改变。也就是说，K个类别都拟合完第一颗树之后才开始拟合第二颗树，不允许先把某一个类别的M颗树学习完，再学习另外一个类别。

6、优缺点

优点：

• 预测精度高

• 适合低维数据

• 能处理非线性数据

• 可以灵活处理各种类型的数据，包括连续值和离散值。

• 在相对少的调参时间情况下，预测的准备率也可以比较高。这个是相对SVM来说的。

-使用一些健壮的损失函数，对异常值的鲁棒性非常强。比如 Huber损失函数和Quantile损失函数。

缺点：

-由于弱学习器之间存在依赖关系，难以并行训练数据。不过可以通过自采样的SGBT来达到部分并行。

-如果数据维度较高时会加大算法的计算复杂度

7、sklearn参数

7.1. GBDT类库boosting框架参数

首先，我们来看boosting框架相关的重要参数。由于GradientBoostingClassifier和GradientBoostingRegressor的参数绝大部分相同，我们下面会一起来讲，不同点会单独指出。

1) n_estimators: 也就是弱学习器的最大迭代次数，或者说最大的弱学习器的个数。一般来说n_estimators太小，容易欠拟合，n_estimators太大，又容易过拟合，一般选择一个适中的数值。默认是100。在实际调参的过程中，我们常常将n_estimators和下面介绍的参数learning_rate一起考虑。

2) learning_rate: 即每个弱学习器的权重缩减系数νν，也称作步长，在原理篇的正则化章节我们也讲到了，加上了正则化项，我们的强学习器的迭代公式为fk(x)=fk−1(x)+νhk(x)fk(x)=fk−1(x)+νhk(x)。νν的取值范围为0<ν≤10<ν≤1。对于同样的训练集拟合效果，较小的νν意味着我们需要更多的弱学习器的迭代次数。通常我们用步长和迭代最大次数一起来决定算法的拟合效果。所以这两个参数n_estimators和learning_rate要一起调参。一般来说，可以从一个小一点的νν开始调参，默认是1。

3) subsample: 即我们在原理篇的正则化章节讲到的子采样，取值为(0,1]。注意这里的子采样和随机森林不一样，随机森林使用的是放回抽样，而这里是不放回抽样。如果取值为1，则全部样本都使用，等于没有使用子采样。如果取值小于1，则只有一部分样本会去做GBDT的决策树拟合。选择小于1的比例可以减少方差，即防止过拟合，但是会增加样本拟合的偏差，因此取值不能太低。推荐在[0.5, 0.8]之间，默认是1.0，即不使用子采样。

4) init: 即我们的初始化的时候的弱学习器，拟合对应原理篇里面的f0(x)f0(x)，如果不输入，则用训练集样本来做样本集的初始化分类回归预测。否则用init参数提供的学习器做初始化分类回归预测。一般用在我们对数据有先验知识，或者之前做过一些拟合的时候，如果没有的话就不用管这个参数了。

5) loss: 即我们GBDT算法中的损失函数。分类模型和回归模型的损失函数是不一样的。

对于分类模型，有对数似然损失函数"deviance"和指数损失函数"exponential"两者输入选择。默认是对数似然损失函数"deviance"。在原理篇中对这些分类损失函数有详细的介绍。一般来说，推荐使用默认的"deviance"。它对二元分离和多元分类各自都有比较好的优化。而指数损失函数等于把我们带到了Adaboost算法。

对于回归模型，有均方差"ls", 绝对损失"lad", Huber损失"huber"和分位数损失“quantile”。默认是均方差"ls"。一般来说，如果数据的噪音点不多，用默认的均方差"ls"比较好。如果是噪音点较多，则推荐用抗噪音的损失函数"huber"。而如果我们需要对训练集进行分段预测的时候，则采用“quantile”。

6) alpha：这个参数只有GradientBoostingRegressor有，当我们使用Huber损失"huber"和分位数损失“quantile”时，需要指定分位数的值。默认是0.9，如果噪音点较多，可以适当降低这个分位数的值。

7.2. GBDT类库弱学习器参数

这里我们再对GBDT的类库弱学习器的重要参数做一个总结。由于GBDT使用了CART回归决策树，因此它的参数基本来源于决策树类，也就是说，和DecisionTreeClassifier和DecisionTreeRegressor的参数基本类似。如果你已经很熟悉决策树算法的调参，那么这一节基本可以跳过。不熟悉的朋友可以继续看下去。

1) 划分时考虑的最大特征数max_features: 可以使用很多种类型的值，默认是"None",意味着划分时考虑所有的特征数；如果是"log2"意味着划分时最多考虑log2Nlog2N个特征；如果是"sqrt"或者"auto"意味着划分时最多考虑N−−√N个特征。如果是整数，代表考虑的特征绝对数。如果是浮点数，代表考虑特征百分比，即考虑（百分比xN）取整后的特征数。其中N为样本总特征数。一般来说，如果样本特征数不多，比如小于50，我们用默认的"None"就可以了，如果特征数非常多，我们可以灵活使用刚才描述的其他取值来控制划分时考虑的最大特征数，以控制决策树的生成时间。

2) 决策树最大深度max_depth: 默认可以不输入，如果不输入的话，决策树在建立子树的时候不会限制子树的深度。一般来说，数据少或者特征少的时候可以不管这个值。如果模型样本量多，特征也多的情况下，推荐限制这个最大深度，具体的取值取决于数据的分布。常用的可以取值10-100之间。

3) 内部节点再划分所需最小样本数min_samples_split: 这个值限制了子树继续划分的条件，如果某节点的样本数少于min_samples_split，则不会继续再尝试选择最优特征来进行划分。 默认是2.如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。

4) 叶子节点最少样本数min_samples_leaf: 这个值限制了叶子节点最少的样本数，如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝。 默认是1,可以输入最少的样本数的整数，或者最少样本数占样本总数的百分比。如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。

5）叶子节点最小的样本权重和min_weight_fraction_leaf：这个值限制了叶子节点所有样本权重和的最小值，如果小于这个值，则会和兄弟节点一起被剪枝。 默认是0，就是不考虑权重问题。一般来说，如果我们有较多样本有缺失值，或者分类树样本的分布类别偏差很大，就会引入样本权重，这时我们就要注意这个值了。

6) 最大叶子节点数max_leaf_nodes: 通过限制最大叶子节点数，可以防止过拟合，默认是"None”，即不限制最大的叶子节点数。如果加了限制，算法会建立在最大叶子节点数内最优的决策树。如果特征不多，可以不考虑这个值，但是如果特征分成多的话，可以加以限制，具体的值可以通过交叉验证得到。

7) 节点划分最小不纯度min_impurity_split: 这个值限制了决策树的增长，如果某节点的不纯度(基于基尼系数，均方差)小于这个阈值，则该节点不再生成子节点。即为叶子节点 。一般不推荐改动默认值1e-7。

8、应用场景

GBDT几乎可用于所有回归问题（线性/非线性），相对logistic regression仅能用于线性回归，GBDT的适用面非常广。亦可用于二分类问题（设定阈值，大于阈值为正例，反之为负例）。