【机器学习笔记】——决策树（Decision Tree）

目 录

1 决策树

  决策树（decision tree）是一种基本的分类与回归方法，其主要优点是模型具有可读性，分类速度快。学习时利用损失函数（正则化的极大似然函数）最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。根据一组训练数据学习的决策树不是唯一的，与训练数据不相矛盾的（能对训练数据进行正确分类）决策树可能有多个，也可能一个也没有。我们需要的是一个与训练数据矛盾较小（训练误差小）的决策树，同时具有很好的泛化能力（测试误差小）。

  决策树学习通常包括 3 个步骤：特征选择、决策树的生成和决策树的修剪。其中前两个步骤是几乎同时进行的。在每一步中，我们构建根节点，选择最优特征，并根据该特征对训练数据集进行划分（对应于模型的局部最优），使得各个子集有一个在当前条件下最好的分类，同时完成该层决策树的构建（如果这些自己已经能够被基本正确分类，那么构建叶结点，否则继续对其进行分割）。如此递归地进行下去，直到所有训练数据自己被基本正确分类，或者没有合适的特征为止。这样就生成了一棵决策树。之后我们需要对已生成的树进行自上而下的剪枝，将树变得简单，从而具有更好的泛化能力（对应于模型的全局最优）。具体地，就是剪掉过于细分的叶节点，使其回退到父结点，甚至更高的结点，然后将父结点或者更高的结点改为新的叶结点。

1.1 特征选择

  数据有很多特征，那么在每一步中我们选择哪个特征？选择了特征之后又该如何在该特征上进行划分？这就是特征选择要做的事情。特征选择在预选区队训练数据有分类能力（与随机分类的结果有较大差异）的特征。特征选择有许多标准，我们根据这些标准对决策树学习的算法进行分类。比如ID3对应的标准是信息增益、C4.5对应的标准是信息增益比、CART对应的标准是基尼指数。下面给出这些标准的定义并结合实例进行说明。

1.1.1 基础定义

  熵：熵（entropy）表示随机变量不确定性的度量，设 $X$ 是一个取有限个值的离散随机变量，其概率分布为

$$P(X=x_i)=p_i,i=1,2,\cdots ,n$$

则随机变量 $X$ 的熵定义为：

$$H(X)=-\sum _{i=1}^n{p}_i\log p_i$$

若 $p_i=0$ ，则定义 $0\log 0=0$ 。通常式中对数以 2 为底，这时熵的单位称作比特（bit），以 $e$ 和 10 为底的熵的单位称作纳特（nat）和哈托特（hat），因为熵只依赖于 $X$ 的分布，因此也可写作 $H(p)$ 。熵越大，随机变量的不确定性就越大。若熵中的概率由估计得到（特别是极大似然估计），这时熵称为经验熵（empirical entropy）。下图展示了二值随机变量熵 $H(p)$ 随概率 $p$ 变化的曲线。

  条件熵：条件熵（conditional entropy） $H(Y|X)$ 表示在已知随机变量 $X$ 的条件下随机变量 $Y$ 的不确定性。随机变量 $X$ 给定的条件下随机变量 $Y$ 的条件熵定义为：

$$H(Y|X)=\sum _{i=1}^n{p}_{i}H(Y|X=x_i)$$

当条件熵中的概率由估计（特别是极大似然估计）得到时称为经验条件熵（empirical conditional entropy）。

  信息增益：信息增益（information gain）表示得知特征 $X$ 的信息而使得类 $Y$ 的信息的不确定性减少的程度，又称为互信息（mutual information）。特征 $A$ 对训练数据集 $D$ 的信息增益 $g(D,A)$ ，定义为集合 $D$ 的经验熵 $H(D)$ 与特征 $A$ 给定条件下 $D$ 的经验条件熵 $H(D|A)$ 之差，即

$$g(D,A)=H(D)-H(D|A)$$

  信息增益比：特征 $A$ 对训练数据集 $D$ 的信息增益比 $g_R(D,A)$ 定义为其信息增益 $g(D,A)$ 与训练数据集 $D$ 关于特征 $A$ 的值的熵 $H_A(D)$ 之比，即

$$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$$

其中， $H_A(D)=-{\sum }_{j=1}^S\frac{|D_i|}{|D|}{\log }_2\frac{|D_i|}{|D|}$ ， $S$ 是特征 $A$ 取值的个数

  以信息增益作为划分训练数据集的特征，存在偏向于选择取值较多的特征的问题，比如在学生信息中我们用学号作为特征，那么显然一次性就可以划分结束，但是这样的结果没有实际意义。使用信息增益比可以对这一问题进行校正

  基尼指数：分类问题中，假设有 $K$ 个类，样本点属于第 $k$ 类的概率为 $p_k$ ，则概率分布的基尼指数（Gini index）定义为

$$Gini(p)=\sum _{k=1}^K{p}_k(1-p_k)=1-\sum _{k=1}^K{p}_k^2$$

  对于给定的样本集合 $D$ ，其基尼指数为

$$Gini(D)=1-\sum _{k=1}^K{\left(\frac{|C_k|}{|D|}\right)}^2$$

其中， $C_k$ 是 $D$ 中属于第 $k$ 类的样本子集。

  如果样本集合 $D$ 根据特征 $A$ 是否取某一可能值 $a$ 被分割成 $D_1$ 和 $D_2$ 两部分，即

D 1 = { ( x , y ) ∈ D ∣ A ( x ) = a } ,   D 2 = D − D 1 D_1 = \{(x, y)\in D| A(x) = a\}, \ D_2 = D - D_1 D1​={ (x,y)∈D∣A(x)=a}, D2​=D−D1​

则在特征 $A$ 的条件下，集合 $D$ 的基尼指数定义为

$$Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)$$

  直观来说，基尼指数反映了从数据集随机抽取两个样本，其类别标记不一致的概率，因此基尼指数越小，数据集纯度越高，基尼指数越大，数据集的不确定性越大。基尼指数 $Gini(D)$ 表示集合 $D$ 的不确定性，基尼指数 $G(D,A)$ 表示经 $A=a$ 分割后集合 $D$ 的不确定性。基尼指数越大，样本集合的不确定性也就越大。下图展示了二分类问题中，基尼指数 $Gini(p)$ 、熵之半 $\frac{1}{2}H(p)$ 和分类误差率关于概率 $p$ 的关系

1.1.2 最优特征标准

•   ID3：选择信息增益最大的特征作为最优特征

•   C4.5：选择信息增益比最大的特征作为最优特征

•   CART：选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点

1.2 树的生成

1.2.1 ID3 算法

  输入：训练数据集 $D$ ，特征集 $A$ ，阈值 $ϵ$

  输出：决策树 $T$

  (1) 若 $D$ 中所有实例属于同一类 $C_k$ ，则 $T$ 为单结点树，并将类 $C_k$ 作为该结点的类标记，返回 $T$ ；

  (2) 若 $A=\varnothing$ ，则 $T$ 为单结点树，并将 $D$ 中实例数最大的类 $C_k$ 作为该结点的类标记，返回 $T$ ；

  (3) 否则，计算 $A$ 中各特征对 $D$ 的信息增益，选择信息增益最大的特征 $A_g$ ；

  (4) 如果 $A_g$ 的信息增益小于阈值 $ϵ$ ，则设置 $T$ 为单结点树，并将 $D$ 中实例数最大的类 $C_k$ 作为该结点的类标记，返回 $T$ ；

  (5) 否则，对 $A_g$ 的每一个可能值 $a_i$ ，依 $A_g=a_i$ 将 $D$ 分割为若干非空子集 $D_i$ ，将 $D_i$ 中实例数最大的类作为类标记，构建子结点，由结点及其子结点构成树 $T$ ，返回 $T$ ；

  (6) 对第 $i$ 个子结点，以 $D_i$ 为训练集，以 $A-A_g$ 为特征集，递归地调用步(1)~步(5)，得到子树 $T_i$ ，返回 $T_i$

1.2.2 C4.5 算法

  输入：训练数据集 $D$ ，特征集 $A$ ，阈值 $ϵ$

  输出：决策树 $T$

  (1) 若 $D$ 中所有实例属于同一类 $C_k$ ，则 $T$ 为单结点树，并将类 $C_k$ 作为该结点的类标记，返回 $T$ ；

  (2) 若 $A=\varnothing$ ，则 $T$ 为单结点树，并将 $D$ 中实例数最大的类 $C_k$ 作为该结点的类标记，返回 $T$ ；

  (3) 否则，计算 $A$ 中各特征对 $D$ 的信息增益比，选择信息增益比最大的特征 $A_g$ ；

  (4) 如果 $A_g$ 的信息增益比小于阈值 $ϵ$ ，则设置 $T$ 为单结点树，并将 $D$ 中实例数最大的类 $C_k$ 作为该结点的类标记，返回 $T$ ；

  (5) 否则，对 $A_g$ 的每一个可能值 $a_i$ ，依 $A_g=a_i$ 将 $D$ 分割为若干非空子集 $D_i$ ，将 $D_i$ 中实例数最大的类作为类标记，构建子结点，由结点及其子结点构成树 $T$ ，返回 $T$ ；

  (6) 对第 $i$ 个子结点，以 $D_i$ 为训练集，以 $A-A_g$ 为特征集，递归地调用步(1)~步(5)，得到子树 $T_i$ ，返回 $T_i$

1.2.2.1 如果特征是连续的

  在C4.5中，对于连续型特征 $x^{(j)}$ 采取了离散化处理（具体为二值化处理），比如某连续型特征在数据集上的取值从小到大为 { a 1 , a 2 , ⋯   , a n } \{ a_1, a_2, \cdots, a_n\} { a1​,a2​,⋯,an​}，可以在每两个值之间选择一个切分点 $b$（可以是左闭右开区间中任意一个值），这样得到了一个切分点集合 { b 1 , b 2 , ⋯   , b ) n − 1 } \{ b_1, b_2, \cdots, b){n - 1}\} { b1​,b2​,⋯,b)n−1}。基于 $b_i$ 我们把该特征划分为了两个部分 D − = { x ∣ x ( j ) ≤ b i } D^{-} = \{x|x^{(j)} \le b_i\} D−={ x∣x(j)≤bi​} 和 D + = { x ∣ x ( j ) > b i } D^{+} = \{x|x^{(j)} \gt b_i\} D+={ x∣x(j)>bi​}。于是我们对每个 $b_i$ 求信息增益（比），选择信息增益（比）最大的作为最优切分点。另外不同于离散型特征只作一次划分，可以对连续型属性进行多次划分，也就是说连续型特征可以多次使用。

1.2.2.2 如果数据中有缺失值

  当缺失值较少时，可以直接忽略有缺失值的样本，但是当缺失值较多时就不能忽略。对于含有缺失值的样本有两种情况：(1) 特征值缺失；(2) 标签值缺失。在C4.5中，对两种情况做如下处理：

  特征值缺失：我们假设特征 $x^{(j)}$ 含有缺失值，且未缺失部分的样本数据集为 $\tilde{D}$，定义

$$\rho =\frac{|\tilde{D}|}{|D|}$$

$${\tilde{p}}_k=\frac{{\tilde{D}}_k}{|\tilde{D}|},k=1,2,\cdots ,K$$

$${\tilde{r}}_l=\frac{{\tilde{D}}_l}{|\tilde{D}|},l=1,2,\cdots ,S_j$$

其中 $\rho$ 表示完整数据的比例。${\tilde{D}}_k$ 表示完整数据中标签为第 $k$ 类的样本数据集，所以 ${\tilde{p}}_k$ 表示标签为第 $k$ 类的样本在完整数据集中的比例。${\tilde{D}}_l$ 表示特征 $x^{(j)}$ 取值为 $l$ 的数据集，$S_j$ 是特征 $x^{(j)}$ 的取值个数，所以 ${\tilde{r}}_l$ 表示特征 $x^{(j)}$ 取值为 $l$ 的样本在完整数据集中的比例。有了这些定义我们可以对信息增益公式做一些修改：

$$g(D,x^{(j)})=\rho \left(H(\tilde{D})-\sum _{l=1}^{S_j}{\tilde{r}}_{l}H({\tilde{D}}_l)\right)$$

总的来说就是单独计算一个特征的信息增益时先考虑其完整数据的信息增益，然后乘一个衡量缺失比例的系数。

  标签值缺失：若缺失样本 $x$ 在特征（对所有特征）$x^{(j)}$ 上的特征值已知，那么将其划分到这个结点上。比如一个样本属性值 $x^{(1)}=x_1^{(1)},x^{(2)}=x_1^{(2)}$，那么将该样本划分到 $x^{(1)}=x_1^{(1)},x^{(2)}=x_1^{(2)}$ 的叶结点，并且样本的权值 $w_x$保持不变。如果同时有某个特征值缺失，比如特征 $x^{(j)}$ 缺失，那么先将样本点划分到特征 $x^{(j)}$ 分支后的所有结点中，并且在各结点中的权值变为 ${\tilde{r}}_l\cdot w_x$

1.2.3 CART 算法

1.2.3.1 CART 分类

  分类与回归树（Classification And Regression Tree，CART）即可用于分类也可用于回归，CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。

  输入：训练数据集 $D$ ，停止计算的条件

  输出：CART 决策树

  根据训练数据集，从根结点开始，递归地对每个结点进行以下操作，构建二叉决策树：

  (1) 设结点的训练数据集为 $D$ ，计算现有特征对该数据集的基尼指数 $Gini(D)$ 。此时对每一个特征 $A$ ，对其可能取的每一个值 $a$ ，根据样本点对 $A=a$ 的测试为“是”或“否”将 $D$ 分割成 $D_1$ 和 $D_2$ 两部分，然后计算 $A=a$ 时的基尼指数 $Gini(D,A)$ ；

  (2) 在所有可能的特征 $A$ 以及它们所有可能的切分点中，选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点。依最优特征与最优切分点，从现结点生成两个子结点，将训练数据集依特征分配到两个子结点中去；

  (3) 对两个子结点递归地调用 (1)，(2)，直到满足停止条件；

  (4) 生成 CART 决策树

  算法停止计算的条件是结点中的样本个数小于预定阈值，或样本集的基尼指数小于预定阈值（样本基本属于同一类），或者没有更多特征。

1.2.3.2 CART 回归

  一个回归树把特征空间的一个划分 $R_m,m=1,2,\cdots ,M$ 映射到一个固定的输出值 $c_m$，回归模型可以表示为

$$f(x)=\sum _{m=1}^M{c}_{m}I(x\in R_m)$$

当输入空间的划分确定后，可以用平方误差 ${\sum }_{x_i\in R_m}{(y_i-f(x_i))}^2$ 来表示回归树对于训练误差的预测误差，用平方误差最小的准则求解每个单元上的最优输出值，即均值（如果是绝对值误差最小，就是中位数）。那么重点就是怎样进行空间的划分。

  我们先寻找最优切分点，对于一个特征 $x^{(j)}$，我们设切分点 $s(j)$ 将其特征空间划分为两部分

R 1 ( j , s ( j ) ) = { x ∣ x ( j ) ≤ s ( j ) } ,   R 2 ( j , s ( j ) ) = { x ∣ x ( j ) > s ( j ) } R_1 (j, s(j)) = \{x | x^{(j)} \le s(j)\}, \ R_2 (j, s(j)) = \{x | x^{(j)} \gt s(j)\} R1​(j,s(j))={ x∣x(j)≤s(j)}, R2​(j,s(j))={ x∣x(j)>s(j)}

于是，最优切分点就是使数据集在 $R_1,R_2$ 上平方误差最小的点。令

$$\widehat{c_1}(j,s(j))=\overline{y_i},x_i\in R_1(j,s(j))$$

$$\widehat{c_2}(j,s(j))=\overline{y_i},x_i\in R_2(j,s(j))$$

则特征 $j$ 的最优切分点s(j) 使下式达到最小

$$g(s)={\min }_{c_1}\sum _{x_i\in R_1}{(y_i-c_1(j,s(j)))}^2+{\min }_{c_2}\sum _{x_i\in R_1}{(y_i-c_1(j,s(j)))}^2$$

  这样对于所有的特征，我们得到了一个特征与最优切分点对 $(j,s(j))$ ，下一步就是选取最优特征。令

$$m(j)={\min }_{s}g(s)$$

于是最优特征就是最小 $m(j)$ 对应的特征，我们按照该特征及其最优切分点对数据集进行划分。接着重复上述过程，直到满足停止条件。

  输入：训练数据集 $D$

  输出：回归树 $f(x)$

  在训练数据集所在的输入空间中，递归地将每个区域划分为两个子区域并决定每个子区域上的输出值，构建二叉决策树：

  (1) 选择最优切分变量 $j$ 与切分点 $s$，求

$${\min }_{j,s}\left[{\min }_{c_1}\sum _{x_i\in R_1(j,s)}+{\min }_{c_1}\sum _{x_i\in R_1(j,s)}\right]$$

  遍历变量 $j$，对固定的切分变量 $j$ 扫描切分点 $s$，选择使上式达到最小值的对 $(j,s)$；

  (2) 用选定的对 $(j,s)$ 划分区域并决定相应的输出值：

R 1 ( j , s ) = { x ∣ x ( j ) ≤ s ( j ) } ,   R 2 ( j , s ) = { x ∣ x ( j ) > s ( j ) } R_1 (j, s) = \{x | x^{(j)} \le s(j)\}, \ R_2 (j, s) = \{x | x^{(j)} \gt s(j)\} R1​(j,s)={ x∣x(j)≤s(j)}, R2​(j,s)={ x∣x(j)>s(j)}

$$\widehat{c_1}(j,s(j))=\overline{y_i},x_i\in R_1(j,s(j))$$

$$\widehat{c_2}(j,s(j))=\overline{y_i},x_i\in R_2(j,s(j))$$

  (3) 继续对两个子区域调用步骤(1)，(2)，直至满足停止条件；

  (4) 将输入空间划分为 $M$ 个区域 $R_1,R_2,\cdots ,R^{}$