机器学习笔记-Decision Tree

集成学习系列：

• Blending and Bagging
• Adaptive Boosting
• Decision Tree
• Random Forest
• Gradient Boosted Decision Tree

Decision Tree

上一篇讲解了$Adaptive\ Boosting$算法，这个算法有两个特点：第一个是在第$t$轮中通过调整每一个样本点的权重值以使得在$t+1$轮得到不同于的$g_t$的$g_{t+1}$；第二点是通过$g_t$的表现计算一个值作为权重将其线性的融合到$G$中。这样的算法被证明当$\text{base learner}$不怎么强的时候，通过这样的方式也可以得到很强的效果。

1 - Decision Tree Hypothesis

1.1 - 总结aggregation

到现在为止， 这一篇和上一篇都属于$\text{aggregation model}$的范畴。$\text{aggregation model}$简单的来说就是将$g$融合成$G$。其做法有两个主要的面向：一种称之为$blending$，这种是指我们已经得到了一堆的 $g$ ，这个时候我们有三种主要的方式来对这些已经在手上的$g$进行融合：

• $Uniform$方式：如果所有的$g$的重要性都是一样的， 我们可以使用$uniform$的方式，通过投票或者平均来进行融合，或者说给每一个$g$的权重都设置为1
• $Non$-$uniform$方式：如果$g$的重要性是不同的， 那么可以使用$non$-$uniform$的形式来对$g$进行融合。这时可以将所有的$g$当成是一个特征转换，将进行了特征转换之后的数据丢到一个$linear\ model$里面去求解参数作为各自的重要性就可以了
• • $Conditional$方式：如果要在不同的情形下使用不同的$g$，同样的我们的做法是将所有的$g$当成是特征转换，在$two\ level\ learning$的第二层的学习的时候，不再使用$linear\ model$，而是使用一个非线性的模型，这样就可以做到$conditional$的$blending$。

另一种面向是我们并不知道有哪些$g$，我们想要一边学习$g$一遍将他们进行融合。目前讲了两个主要的方式：$Bagging$和$AdaBoost$。

• 如果想要做$uniform$的$aggregation$的话，就是用$Bagging$，在$Bagging$中，我们首先针对资料$\mathcal{D}$做$bootstrap$来得到一些不同的资料$\mathcal{\tilde{D}_t}$，再在这些资料的副本上得到不同的$g$，最后将它们$uniform$的融合起来。
• 如果是要做$linear$的$aggregation$的话，可以使用$Adaboost$，在$AdaBoost$中通过调整样本的权重，得到不同的$g$，然后$linear$的将它们融合起来。
• $decision\ tree$解决的问题是要在不同的条件下使用不同的$g$， 并且$g$和$conditional$事先不知道，需要通过学习获取的情形。

以上的内容可以总结为如下的表格：

1.2 - 一个决策树的示例

如下图就是一棵决策树，用于决策下班之后要不要学习在线课程。 例如，我要先看下下班的时间早不早，如果下班早的话，再看看有没有约，如果没有约的话就学习在线视频，如果有约的话就不学习了。等等。所以一个判断的过程就是从决策树的$root$出发来依次的判断各个决策点的条件，沿着符合条件的路径一直走到叶子节点就是决策树最终给出的决策。

$Decision\ Tree$使用$G$来表示，接下来看看怎么将$G$表示为$g$和$condition\ q(x)$的组合：

$$G(x) = \sum_{t= 1}^{T}\ q_t(x) \centerdot g_t(x)$$

• $g_t(x)$称为$base\ hypothesis$，在这里表示的是叶子节点上的决策，这里使用的是常数，和在$bagging$和$adaboost$中一样$g_t$是组成$G$的部分。
• $q_t(x)$是$condition$，即判断特征是否满足条件，或者是不是在某些路径$path$上。

或者我们从数据结构角度出发，可以通过如下的递归的方式来描述决策树：

$$G(x) = \sum_{c = 1}^{C} |[b(x) = c]| \centerdot G_c(x)$$ ,
其中，$G(x)$称为是$full\ tree$，$b(x)$称为是分支条件，$G_c(x)$是条件$b(x) = c$时的那一棵子树。操作$|[\ ]|$的定义如下：

$$|[\bigcirc]| = \begin{cases} 1, \text{ if }\bigcirc \text{ 成立}\\ 0, \text{ if }\bigcirc \text{ 不成立}\\ \end{cases}$$

以上只是给出了对决策树模型的一些定义和数学上的描述，不是很重要，我们需要知道的是$Decision\ Tree$是一个非常实用的算法有很多的优点，因为该算法描述了整个做决策的过程，所有有很好的可解释性，正因为如此使得该算法在商业和医药上有很多的应用。另一个方面，该算法的很容易实现。除此之外该算法的效率也非常的高。该算法的缺点是，相对于机器学习中的其他的模型来说，该算法的理论保证很少，人们更多是使用一些设计上的技巧而不是理论上的支撑来使得算法的表现很好。

2 - Decision Tree Algorithm

2.1 - 决策树算法介绍

上一小节我们介绍了$Decision\ Tree$的基本概念和表示的方法，其中说到决策树可以使用递归的方式来表示，如下：

$$G(x) = \sum_{c = 1}^{C}|[b(x) = c]| G_c(x)$$
通过这样的一个对决策树的递归的表示我们也可以大概的写出决策树的构造步骤。

构造$Decision\ Tree$
$input：\mathcal{D} = \{(x_n, y_n)\}_{n=1}^{N}$
$if \ \ $ 终止条件满足
$\quad \quad \quad$返回$base\ hypothesis\ g_t(x)$
$else$
$\quad \quad \quad$ 1. 从资料中找出最好的用于划分资料的特征
$\quad \quad \quad$ 2. 根据以上找到的特征将资料划分为若干块 $\mathcal{D_c}$，具体分为几块( $c$ 的大小）视该特征的不同的取值的个数，或者算法具体使用的技巧而定。
$\quad \quad \quad$ 3. 使用每一个 $\mathcal{D_c}$ 构造一个子树
$\quad \quad \quad$ 4. 将所有的子树合并起来形成最后的$Decision\ Tree$， 即$G(x)$

通过上面的描述要想从$data$中学到一个决策树，有四个问题需要决定：

• 如何决定进行划分数据的特征
• 分支的个数
• 终止的条件
• 满足终止条件的情况下怎么决定返回的$base\ hypothesis$

2.2 - Classification and Regression Tree（CART）

$CART$算法是决策树算法的一种简单实现，下面我们依次谈论$GART$这个算法针对上面我们关心的四个问题是怎么处理的。

$CART$算法每次将数据划分为两份，也就是说使用该算法最后构建的决策树是一棵二叉树。$CART$算法最后回传的$g_t$，也就是$base\ hypothsis$是常数，也就是叶子结点上的值是常数。如果是$classification$，那么叶子节点上的值就是类别；如果是$regression$，那么叶子节点上的值就是回归的实数值。那么怎么得到叶子节点上的这个值呢？这个返回的常数我们希望它在它所能看到的那一部分小的数据上（数据不断被划分，所以不管是维度还是个数都在不断的减少）的表现是很好的，也就是$E_{in}$是很小的， 为了做到这一点，对于分类问题来说，我们使用$majority$的方式决定这个常数的取值：类别最多的作为该决策叶子节点的类别；对于回归问题，最好的常数就是这一部分数据的$y$的平均值。

$CART$算法每一次会将$data$划分为两个子树，则另一个关心的问题是：如何划分为两个子树，即如何选择特征来对数据进行划分。$CART$的做法是利用$decision\ stump$算法对数据进行划分，划分后计算子数据的纯度$purifying$。试想如果划分得到的子数据集上的样本的$label$都是相同的，或者说是很接近的，那么在使用一个常数作为决策树的输出的时候，得到的$E_{in}$就会很小。所以我们就是要在所有可能的$Decision\ Stump$做出的划分中，找使得$impurify(\mathcal{D_1})+impurify(\mathcal{D_2})$最小的划分，$impurity(\mathcal{D})$表示$\mathcal{D}$的不纯度的大小。考虑到$\mathcal{D_1}$和$\mathcal{D_2}$中数据量的差异，所以我们将上式改为$|\mathcal{D_1}|\centerdot impurify(\mathcal{D_1})+|\mathcal{D_2}|\centerdot impurify(\mathcal{D_2})$。

2.3 - Impurity

怎么衡量不纯度$impurity$？

• 对于$regression$来说，首先计算划分后的数据的所有真实值的均值$\bar{y} = average\ of\ \{y_n\}$， 不纯度的计算公式如下：
  

  $$impurity(\mathcal{D}) = \frac1N\sum_{n=1}^{N}(y_n - \bar{y})^2\tag1$$

• 对于$classification$来说，找到数据中出现次数最多的类别$y^*$，即$y^* = majority\ of\ \{y_n\}$， 剩下的其他的类别的个数的总和就可以描述该数据集的不纯度，其中$N$为该数据子集的大小：
  

  $$impurity(\mathcal{D}) = \frac1N\sum_{n=1}^{N}|[y_n \ne y^*]|$$

当有了不纯度的定义之后， 就可以在所有的$decision\ stump$的切割中，找到做好的$feature$来划分数据。

对于$classification$问题来说，另一个比较常用的衡量不纯度的指标是$Gini\ index$，定义如下：

$$1 - \sum_{k = 1}^{K}\bigg(\frac{\sum_{n=1}^{N}|[y_n = k]|}{N}\bigg)^2$$

例如对于$label$集$\mathcal{L}= \{1, 7, 9, 7, 1, 7, 7, 7, 9, 1\}$来说，$Gini(\mathcal{L}) = 1 - ((\frac{3}{10})^2+(\frac{5}{10})^2+(\frac{2}{10})^2)$

在$CART$算法做$classification$的时候，通常会使用$Gini$系数来选择划分数据集的特征；在做$regression$的时候， 通常使用公式$(1)$的计算不纯度的方法来选择划分数据集的特征。

四个基本的问题中还剩一个问题，终止条件是什么。第一种情况是当所有的$y$都相同的时候，这个时候无论是使用$classification$的$Gini$系数还是使用$regression$的中的公式$(1)$来计算$impurity$得到的都是$0$，所以这个时候就可以终止继续构造子树，返回一个常数；第二种情况是当所有的x都相同的时候；第三种情况是是当没有特征可用的时候；这三种情况的处理是一样的， $classification$的话对所有的$label$投票， $regression$的话取均值。这种被迫停下来的树称为$fully\ grown\ tree$。

$CART$决策树是一棵完全长成的树，叶子节点上返回的常数，对数据进行划分的依据是不纯度，每次将数据划分为两个不想交的子集。

3 - Decision Tree Heuristics in CART

3.1 - CART算法的流程

$if\ cannot\ branch\ anymore$
$\quad\quad\quad return\ g_t(x) = E_{in}\ optimal\ constant$
$else$
$\quad\quad\quad1. learn\ branching\ criteria$

$$\quad\quad\quad\quad b(x) = \mathop{argmin}\limits_{decision\ stumps\ h(x)}\sum_{c = 1}^{2}| \mathcal{D_c}\ with\ h| \centerdot impurity(\mathcal{D_c}\ with\ h)$$
$\quad\quad\quad2. plit\ \mathcal{D}\ to\ 2\ parts\ \mathcal{D_c} = \{(x_n, y_n):b(x_n) = c\}$
$\quad\quad\quad3. build\ sub\ tree\ G_c \longleftarrow DecisionTree(D_c)$
$\quad\quad\quad4. return\ G(x) = \sum_{c = 1}^{2}|[b(x) = c]|G_c(x)$

简单总结一下$CART$算法的主要特点：每次分两支；通过计算纯度选择对数据进行划分的特征；返回常数值。$CART$算法不仅仅可以做$binary\ classification$还可以做$regression$， 并且只需要做一点的改变就可以很容易的处理$multi\ classification$，只需要在返回常数和计算不纯度的时候考虑多类别的问题就可以了。

3.2 - 加规则化因子

如果所有$data$的特征都不一样的时候，$\text{CART}$算法会得到一棵$E_{in}$为0的树（应该是这样的吧）。对于这种完全长成的树，存在较大的$overfitting$的风险。所以看起来我们可能需要一些$regularization$来控制下模型的复杂度。该算法可能会$overfitting$是因为划分的太过于彻底，那么是不是可以通过当划分到一定的程度的时候就不再划分，提前终止构造决策树来降低模型的复杂度呢？这个时候会得到的决策树的叶子的数量会变少，所以看来叶子的数量是一个很好的衡量决策树的复杂度的方法。
定义$\Omega(G)$表示某个决策树$G$的叶子的数量，那么带有$regularizer$的决策树的模型如下：

$$E_{in}(G) + \lambda\Omega(G)$$

现在我们的目标就是要在所有的决策树中找$E_{in}(G) + \lambda\Omega(G)$最小的， 也就是说可能$E_{in}(G)$会稍微大一点， 但是复杂度小一点的决策树。这样的树称为$\text{pruned decision tree}$。

实际操作中， 我们首先通过$CART$算法得到一个完全长成的树$G^{(0)}$，其中的上角标$0$表示摘除$0$片叶子。然后试着摘除该树中的每一片叶子， 计算得到一个在摘除一片叶子的情况下$E_{in}$最小的树$G^{(1)}$；然后在从这个摘掉一片叶子的树出发摘掉第二片叶子，同样找到最好的$G^{(2)}$， $\cdots$。这样就可以生成一些不同的决策树，将这些我们认为“够好”的决策树作为备选，选择一个$E_{in}(G) + \lambda\Omega(G)$最小的决策树。

3.3 - Decision Tree的一些其他的特点

在实际的应用中，可能$data$中的信息不是数字类型（$\text{numerical features}$）的，而是类别类型（$\text{categorical features}$）的，例如说描述天气的情况，可能特征的取值是：晴，阴，雨，而不是数字。之前的模型对于这样的数据，像$\text{linear model}$等等好像不是很方便处理。但是$\text{decision tree}$可以很容易的处理这样的数据。其他的地方基本没有什么影响， 只是原来$\text{CART}$算法使用$\text{decision stump}$对数据做切分， 现在我们换成使用$\text{decision subset}$对数据做切分。例如对于天气的情况$\{$晴，阴，雨$\}$， 所有的$\text{decision subset}$的结果就是$\{$$\{$晴， $($阴，雨$)$$\}$，$\{$阴， $($晴，雨$)$$\}$，$\{$雨， $($阴，晴$)$}$\}$。不仅仅$CART$算法， 其他的大部分的$\text{decision tree}$算法都可以很轻易的处理$\text{categorical features}$。

另外一个优点是，$\text{decision tree}$算法可以通过加入一些技巧来弥补数据缺失的问题。大致的做法是： 构造的过程中除了选择最好的特征 $x^*$ 对当前的数据进行划分之外，还可以再选择一个和$x^*$能得到相似的划分效果的特征$x'$，通常这个两个特征之间会有一个相关关系。 这样在日后使用决策树的时候，如果有一笔数据上没有特征$x^*$，那么可以使用特征$x'$来进行替代。

4 - CART算法的表现

4.1 - 实例分析

针对如下的这个二元分类问题，我们来对于以下$\text{CART}$算法和$\text{AdaBoost}$算法的效果和不同之处在哪里。

以下是$CART$算法和$AdaBoost$算的结果对比， 因为在$CART$和$AdaBoost$中的$base\ learner$都使用的$decision\ stump$，所以对于二维的数据来说它们都只能做水平或者是垂直的分界线。但是从图中可以很明显看出两者之间的不同：对于$AdaBoost$来说，每一个$decision\ stump$的分界线都是横跨整个平面的， 但是$CART$却不是。因为$CART$算法每一个递归里面对的数据集都是缩小了的。而$AdaBoost$始终是在整个数据上划分。

看到这个图以及在下一个数据集上的分割线，发现自己有一个疑惑。在决策树的另一种实现算法$ID3$中，每次使用一种特征$x^*$进行数据的划分之后，在新的数据子集上不仅仅数据的量减少了，数据的维度也减少了。或者说每一次划分都要消耗一个特征，因为$x^*$已经用于划分数据了，所以不再考虑了。但是如果本节所讲的$CART$也是采用这种方式的话，怎么会在每一个点只有两个特征$x, y$的情况下可以做出如此多的分隔线呢？（不知道问题表述清楚了没有，希望有大神可以指教。），我想$CART$算法应该是不消耗特征的。

贴几个复杂的资料上的结果，加深对$CART$和$AdaBoost$算法的直观的认识。原始的资料如下：

在 $decision\ stump$切了 $10$次之后。

在 $decision\ stump$切了 $20$次之后。

在 $decision\ stump$切了 $30$次之后。

在 $decision\ stump$切了 $90$次之后。

4.2 - CART在实际应用中的优点

• 结果的可解释性
• 可以轻易的处理多类别的分类
• 可以应对$categorical\ features$
• 可以解决特征缺失的问题
• 能非常高效的得到一个非线性的模型
• 训练和测试的效率都比较高

5 - 一般决策树

5.1 - 决策树模型

决策树学习本质上是从训练数据集中归纳出一组分类规则。我们需要一个与训练数据集矛盾较小的决策树，同时具有很好的泛化能力。从另一个角度来看，决策树学习是由训练数据集估计条件概率模型，我们希望选择的条件概率模型应该不仅对训练数据有很好的拟合，而且应该对未知的数据有很好的预测。决策树学习用损失函数表示这一目标，决策树学习的损失函数通常是正则化的极大似然函数，决策树学习的策略是以损失函数为目标函数的最小化。

决策树的学习算法包含特征选择，决策树的生成，决策树的剪枝，由于决策树表示一个条件概率分布，所以深浅不同的决策树对应着不同复杂度的概率模型。决策树的生成对应模型的决策选择，决策树的剪枝对应模型的全局选择。

5.2 - 特征选择

通常特征选择的准则是信息增益或者信息增益率。

5.2.1 - 什么是信息增益

$X$是一个取有限个值的离散随机变量，其概率分布为

$$P(X=x_i) = p_i, i = 1, 2, \cdots, n$$

随机变量$X$的熵定义为：

$$H(X) = -\sum_{i=1}^{n}p_ilog p_i$$

条件熵$H(Y|X)$表示在已知随机变量X的条件下，随机变量Y的不确定性，定义为X给定条件下Y的条件概率分布的熵对X的数学期望：

$$H(Y|X) = \sum_{i=1}^{n}p_iH(Y|X=x_i) = -\sum_{i=1}^{n}p_i\sum_{j=1}^{m}p(y_j|x_i)logp(y_j|x_i)$$

信息增益表示得知特征$X$的信息而使得类$Y$的信息的不确定性减少的程度。计算公式为：

$$g(D, A) = H(D) - H(D|X)$$

5.2.2 - 信息增益算法

• 设训练数据集为$D$，$|D|$表示其样本容量；
• 设有$K$个类$C_k$，$k=1,2,3,\cdots,K$， $|C_k|$为类$C_k$的样本个数
• 设特征$A$有$n$个不同的取值$\{a_1, \cdots, a_n\}$，

根据$A$的取值可以将$D$划分为$n$个子集$D_1, D_2, \cdots, D_n$，$|D_i|$为$D_i$的样本个数；子集$D_i$中属于类$C_k$的样本集合为$D_{ik}$，$|D_{ik}|$为$D_{ik}$的样本的个数。

信息增益算法：该算法的输入为训练数据$D$和特征$A$，输出为$A$对训练数据集$D$的信息增益$g(D, A)$。

• 计算数据$D$的经验熵：
  $$H(D) = -\sum_{k=1}^{K}\frac{|C_k|}{|D|}log_2\frac{|C_k|}{|D|}$$
• 计算特征$A$对数据$D$的经验条件熵：
  $$H(D|A) = \sum_{i=1}^{n}\frac{|D_i|}{|D|}H(D_i) =-\sum_{i=1}^{n}\frac{|D_i|}{|D|}\sum_{k=1}^{K}\frac{|D_{ik}|}{|D_{i}|}log\frac{|D_{ik}|}{|D_{i}|}$$
• 信息增益：
  $$g(D, A) = H(D) - H(D|X)$$

$\text{ID3}$算法在树的生成过程中使用信息增益进行特征的选择，$\text{C4.5}$在生成决策树时使用信息增益率进行特征的选择。

5.3 - 决策树的剪枝

如果对决策树的生成过程不加限制的话，决策树很容易过拟合，过拟合的原因在于学习的时候过多的考虑了如何提高对训练数据的正确分类，从而构造出了过于复杂的决策树。将已经生成的决策树进行简化的过程称为剪枝。具体的，剪枝是指从已经生成的树上裁掉一些子树或者是叶节点，并将其父节点作为新的叶节点。

决策树的剪枝往往通过极小化决策树整体的代价函数来实现。

设树$T$的叶节点的个数为$|T|$，$t$是树$T$的叶节点，该叶节点上有$N_t$个样本，其中$k$类样本点有$N_{tk}$个，$k=1,2,\cdots,K$， $H_t(T)$为叶节点上的经验熵。则决策树的代价函数可以定义为：

$$C_\alpha(T)= \sum_{t=1}^{|T|}N_tH_t(T) + \alpha|T|$$

其中：

$$H_t(T) = -\sum_{k=1}^{K}\frac{N_{tk}}{N_t}log\frac{N_{tk}}{N_t}$$

详细的代价函数的表达式为：

$$C_\alpha(T)= -\sum_{t=1}^{|T|}N_t\sum_{k=1}^{K}\frac{N_{tk}}{N_t}log\frac{N_{tk}}{N_t} + \alpha|T|$$

通过代价函数可以看到，决策树的生成只考虑了通过提高信息增益来对训练数据进行更好的拟合。而决策树的剪枝通过优化代价函数还考虑了减小模型的复杂度。代价函数的极小化等价于正则化的极大似然估计。

剪枝算法：输入为生成算法产生的整个树$T$，参数$\alpha$；输出为剪枝之后的子树$T$。

• 计算每一个叶节点的经验熵$H_t(T)$
  • 递归的从树的叶节点向上回缩。设一组叶节点回缩到其父节点之前和之后的整体树分别为$T_B$和$T_A$，其对应的代价函数值分别为$C_{\alpha}(T_B)$和$C_{\alpha}(T_A)$，如果
    $$C_{\alpha}(T_A) \le C_{\alpha}(T_B)$$
    则进行剪枝，将父节点变为新的叶节点。
  • 返回上一步，直到不能继续为止，得到代价函数最小的子树$T_{\alpha}$

  • 6 - 总结

    这篇讲解了$Decision\ Tree$，从它的假设讲起，它的假设表示的就是在不同的条件下， 在不同的路径上有不同的$g$。决策树的构造过程是一个递归的过程，其中最重要的一步是如何划分数据，这就涉及到不纯度的计算。在$CART$这样的算法中有很多技巧可以使用，例如，怎么通过剪枝来做$regularization$，怎么处理$categorical$的特征，怎么应付有缺失的输入。这样的算法可以很高效的给我们一个可解释性强的非线性边界。通过这一篇和上一篇，我们已经讲解完了$aggregation$的基本模型，下一篇开始讲的是：当我们已经有了这些$aggregation$的时候，如何再将这些$aggregation$融合起来， 即$aggregation\ of\ aggregation$。