从入门到放弃（1）：XGBoost

一、基础知识

1.Notation

标记	意义
$x_i$	第$i$个样本
$y_i$	第$i$个样本的真实值
${\hat{y}}_i$	第$i$个样本的预测值
$\Theta$	包括 { w j , j = 1 , … , d } \{w_j,j=1,\dots,d\} {wj​,j=1,…,d},是我们需要学习的参数

2.Objective Function

$$Obj(\Theta )=L(\Theta )+\Omega (\Theta )$$
其中$L(\Theta )$表示损失函数，$\Omega (\Theta )$是正则化项，可以是对参数的$l_1$-norm(lasso)或者$l_2$-norm(岭回归)，用来控制模型的复杂程度。

二、Regression Tree and Ensemble (What are we learning)

2. Regression Tree (CART)

2.1 目标函数

$C_{\alpha }(T)=C(T)+\alpha |T|$，其中$C(T)$表示决策树$T$的损失函数，|T|表示决策树$T$的复杂度，为叶节点的个数，$\alpha$是一个平衡两部分的参数。

2.2 Classification Tree

接下来我们复习一下回归树。在ID3, C4.5, CART三种决策树学习算法中，能够完成回归任务的就是CART。

2.2.1生成过程

(1) 最优属性的选择

CART中选择最优属性时，与其他两种算法用到的信息增益、信息增益率不同，使用的是基尼指数。
当前样本集$D$，有
$$Gini(D)=1-{\Sigma }_i^{|Y|}(1-p_i^2)$$，
其中$|Y|$表示类别数，$p_i$表示第$i$类样本在当前数据集的占比，$Gini(D)$的物理意义即为从当前样本集中任意取出两个样本不属于同一个类别的概率。CART使用基尼指数来选择最优划分属性。
$$Gini\_index(D,a)={\Sigma }_v^V\frac{|D^v|}{|D|}Gini(D^v)$$
基尼指数越小，表示纯度越高。我们选择最优属性
$$a^{\ast }=arg\underset{a}{\min }Gini\_index(D,a)$$

(2) 停止划分的条件

1.当前属性集为空或者当前样本集在划分属性上都属于同一类。
2.当前结点包含的样本都属于同一类别，无需划分
3.当前结点包含的样本集合为空，不能划分。

2.2.2目标函数

分类决策树目标函数中的损失函数是对训练样本的预测误差(交叉熵损失)。因此叶节点最后输出的目标函数值是一个score，我们通过转换成0-1的值来完成分类。这个目标函数用来进行后剪枝，详细见决策树相关博文。

2.3 Regression Tree

2.3.1 目标函数

回归树处理的是回归问题，损失函数自然是平方误差函数：
$$C(T)={\Sigma }_i^N(y_i-{\hat{y}}_i{)}^2$$

2.3.2 生成过程

(1) 对离散变量、连续值的处理

对离散变量，按照常规过程来生成。
对于连续变量，我们的处理方法如下：（C4.5中也可以对连续变量进行处理）
给定样本集$D$和连续属性$a$，假设$a$在$D$上出现了$V$个不同的取值，将这些值从小到大排列，记为 { a 1 , a 2 , … , a V } \{a^1,a^2,\dots,a^V\} {a1,a2,…,aV},我们寻找一个划分点$t$，可将样本集划分为大于$t$和不大于$t$的两部分，我们选择划分点集为
T a = { a i + a i + 1 2 , 1 ≤ i ≤ n − 1 } T_a = \{\frac{a^i+a^{i+1}}{2},1\leq i \leq n-1\} Ta​={2ai+ai+1​,1≤i≤n−1}
接下来我们就可以像离散属性值一样来考察这些划分点，划分的标准也是基于基尼指数。

(2) 回归过程

回归树的生成规则和分类树是相同的，唯一不同的就是我们最后要给叶节点上的样本一个预测值，而不是分类标签。我们采用的方法是将同一个叶节点上的所有样本都预测为同一个值，这个值就是该节点所有样本真实值的均值。
那为什么要预测为该节点所有真实值的均值呢？这与损失函数的定义相关。已知$L_{{\hat{y}}_i}={\Sigma }_i^N(y_i-{\hat{y}}_i{)}^2$，那么使得损失函数最小的${\hat{y}}_i=arg{\min }_{{\hat{y}}_i}=\frac{1}{N}{\Sigma }_i^N{y}_i$.

2.3 Regression Tree Ensemble

当我们有两棵及两棵以上的决策树时，就可以进行集成。

2.3.1 Model

假设我们有K棵树
$${\hat{y}}_i={\Sigma }_{k=1}^K{f}_k(x_i),f_k\in F$$
其中$f_k(\ast )$表示第$k$棵树的假设函数，也就是将属性投影成叶节点上得分的函数。
也就是说，在Tree Ensemble methods中，我们希望学习到的，就是这$K$棵树的假设函数，写成公式就是
Θ = { f 1 , f 2 , … , f K } \Theta = \{f_1,f_2,\dots,f_K\} Θ={f1​,f2​,…,fK​}
参数不再是单棵树的参数，而是一整棵树，包括树的结构和最后叶节点的得分。

2.3.2 Objective Function

已经有了求解的参数，我们现在需要定义一个目标函数，和之前一样，目标函数需要包括损失函数和正则化项，唯一不同的就是控制模型复杂度项约束的变成了第$k$棵树。
$$Obj={\Sigma }_{i=1}^{n}l(y_i,{\hat{y}}_i)+{\Sigma }_{k=1}^K\Omega (f_k)$$
Regression Tree并不仅仅只能用于回归问题，还可以用于解决分类问题，这都取决于损失函数。

• Gradient boosted machine: $l(y_i,{\hat{y}}_i)=(y_i-{\hat{y}}_i{)}^2$
• LogitBoost: $l(y_i,{\hat{y}}_i)=y_{i}ln(1+e^{-{\hat{y}}_i})+(1-y_i)ln(1+e^{{\hat{y}}_i})$

三、Gradient Boosting (How do we Learn)

Objective:${\Sigma }_{i=1}^{n}l(y_i,{\hat{y}}_i)+{\Sigma }_{k=1}^K\Omega (f_k)$
要优化这个目标函数，常规的SGD等方法已经无法满足我们的要求，因此我们需要一种新的优化方法去找到最优的决策树集合$f$。

3.1 Additive Training

从一个最简单的常数预测开始，我们的Model就是每次都增加一棵新的树。
$${\hat{y}}_i^{(0)}=0$$
$${\hat{y}}_i^{(1)}=f_1(x_i)={\hat{y}}_i^{(0)}+f_1(x_i)$$
$${\hat{y}}_i^{(2)}=f_1(x_i)+f_2(x_i)={\hat{y}}_i^{(1)}+f_2(x_i)$$
$$\cdots$$
$${\hat{y}}_i^{(t)}={\Sigma }_{k=1}^t{f}_k(x_i)={\hat{y}}_i^{(t-1)}+f_t(x_i)$$
也就是说，我们在第$t$轮的优化目标包括已知的前$t-1$轮产生的树，和本轮需要求解的第$t$棵树。

3.2 求解目标函数

$$Ob{j}^{(t)}={\Sigma }_{i=1}^{n}l(y_i,{\hat{y}}_i^{(t)})+{\Sigma }_{k=1}^t\Omega (f_k)$$
将${\hat{y}}_i^{(t)}={\hat{y}}_i^{(t-1)}+f_t(x_i)$代入，有
$$Ob{j}^{(t)}={\Sigma }_{i=1}^{n}l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+{\Sigma }_{k=1}^t\Omega (f_k)$$
那要怎么求解最优的$f_t(x_i)$呢，我们回顾到Taylor展开式：
$$f(x+\Delta x)\approx f(x)+f^{{}^{\prime }}(x)\Delta x+\frac{1}{2}{f}^{{}^{\prime \prime }}(x)\Delta x^2$$
应用Taylor展开式将上式在${\hat{y}}_i^{(t-1)}+f_t(x_i)$处展开，有
$$Ob{j}^{(t)}\approx {\Sigma }_{i=1}^n[l(y_i,{\hat{y}}_i^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t(x_i{)}^2]+\Omega (f_t)+constant$$
其中，$g_i={\partial }_{{\hat{y}}_i^{(t-1)}}l(y_i,{\hat{y}}_i^{(t-1)})$，$h_i={\partial }_{{\hat{y}}_i^{(t-1)}}^{2}l(y_i,{\hat{y}}_i^{(t-1)})$。
其中损失函数及惩罚项中的$y_i$，${\hat{y}}_i^{(t-1)}$，$f_t$对于第$t$的求解来说都是常数，所以为了简便，我们归到constant中。当移除所有的常数项后，有
$$Ob{j}^{(t)}\approx {\Sigma }_{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t(x_i{)}^2]+\Omega (f_t)$$
这样我们的目标函数就成了一个二次型。
如果不够直观的话，我们可以考虑损失函数是平方差损失函数的时候：
$$Ob{j}^{(t)}={\Sigma }_{i=1}^n(y_i-({\hat{y}}_i^{(t-1)}+f_t(x_i){)}^2+{\Sigma }_{k=1}^t\Omega (f_k)$$
$$={\Sigma }_{i=1}^{n}2({\hat{y}}_i^{(t-1)}-y_i)f_t(x_i)+f_t(x_i{)}^2+constant$$
可以看到是与我们推导出的最后结果是相同的。

3.2.1 定义$f_t(x)$和$\Omega (f)$

我们已经将目标函数化简成了看起来能够求解的二次型，接下来我们就进一步给大家说明一下$f_t(x)$和$\Omega (f)$到底长什么样子。
$f_t(x)$是描述树结构的假设函数，包括划分样本的规则和每个叶节点的权重作为输出的分数。综合起来可以写成：
f t ( x ) = w q ( x ) , w ∈ R T , q : R d → { 1 , 2 , … , T } f_t(x)=w_{q(x)},w\in R^T, q:R^d\rightarrow \{1,2,\dots,T\} ft​(x)=wq(x)​,w∈RT,q:Rd→{1,2,…,T}
$q(x)$就是规则集，用来将样本划分到对应的叶节点。
$\Omega (f_t)$是控制模型复杂度的项，为了防止过拟合，我们可以限制叶节点的数目，和限制叶节点的权重。
$$\Omega (f_t)=\gamma T+\frac{1}{2}\lambda {\Sigma }_{j=1}^T{w}_j^2$$
$T$是叶节点的总数。

3.2.2 Revisit the Objectives

我们定义在叶子节点$j$的样本集为 I j = { i ∣ q ( x i ) = j } I_j = \{i|q(x_i)=j\} Ij​={i∣q(xi​)=j}，将上面定义的代入到我们的目标函数中，有：
$$Ob{j}^{(t)}\approx {\Sigma }_{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t(x_i{)}^2]+\Omega (f_t)$$
$$={\Sigma }_{i=1}^n[g_i{w}_{q(x_i)}+\frac{1}{2}{h}_i{w}_{q(x_i)}^2]+\gamma T+\frac{1}{2}\lambda {\Sigma }_{j=1}^T{w}_j^2$$
如我们之间提到的，我们最后的优化目标是想找到一个最优的$f_t(x)$，既然$f_t(x)$是由各节点的权重组成的，那么我们将函数化为自变量为$w_i$的会更容易分析。
$$Ob{j}^{(t)}\approx {\Sigma }_j^T[({\Sigma }_{i\in I_j}{g}_i)w_j+\frac{1}{2}({\Sigma }_{i\in I_j}{h}_i+\lambda )w_j^2]+\gamma T$$
让$G_j={\Sigma }_{i\in I_j}{g}_i$，$H_j={\Sigma }_{i\in I_j}{h}_i$，
$$Ob{j}^{(t)}\approx {\Sigma }_j^T[G_j{w}_j+\frac{1}{2}(H_j+\lambda )w_j^2]+\gamma T$$
这样，我们复杂的目标函数就完全变成了小学生的二次型求最优解。
$$w_j^{\ast }=-\frac{G_j}{H_j+\lambda }$$
$$Obj=-\frac{1}{2}{\Sigma }_j^T\frac{G_j^2}{H_j+\lambda }+\gamma T$$

3.2.3 Searching Algorithm for Single Tree

(1) 生成方法

我们想要找到使目标函数最小的决策树，如果遍历所有可能的决策树，从中选择最优的决策树，这样工作量是巨大的。
我们采用贪婪算法生成一棵符合目标函数最小的决策树，做法：

1. 从深度为0的一棵决策树开始，即只有一个根节点。
2. 遍历所有属性，在属性$a$上寻找使
   增益$$Gain=\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }-\gamma$$
   最大的点。以这个属性、这个分裂点去分裂下一个节点。
3. 重复，直到不能再继续分裂。
   这种生成一棵深度为$K$树的时间复杂度为
   $O(ndKlog(n))$ 其中，我们在寻找最优切分点时，对属性$a$的$n$个值进行排序，为$O(nlog(n))$，有$d$个特征，每增加一层深度就要重复一遍这个过程。

(2) 对离散变量

对离散值进行one-hot编码。

(3) 正则化与剪枝

XGBoost也有防止过拟合的措施，也有预剪枝和后剪枝的操作。
预剪枝：当本次最佳分裂点的增益为负值时停止剪枝，但有可能会错过对下面几次划分有利的分裂。
后剪枝：从下往上，剪掉所有负增益的枝。

Summary

至此，我们就得到了完成了XGBoost的推导，只要有了第$t-1$棵树，我们就能够生长出第$t$棵树。