决策树

决策树

@[2016/08/29]

决策树(decision tree)是一种基本的分类与回归方法。决策树学习通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。

1. 决策树模型与学习

分类决策树主要由结点(node)和有向边(directed edge)组成。结点分为：内部结点(internal node)和叶结点(leaf node)。内部结点表示一个特征或属性，叶结点表示一个类。
决策树可看成是一个if-then规则的集合，它具有一个重要的性质：互斥且完备。另外，决策树还表示给定特征条件下的类的条件概率分布。

决策树的本质是从训练数据集中归纳出一组分类规则。与训练数据集不相矛盾的决策树可能有多个，也可能一个也没有。我们需要的是一个与训练数据矛盾较小的决策树，同时具有很好的泛化能力。从另一个角度看，决策树学习是有训练数据集估计条件概率模型。基于特征空间划分的类的条件概率模型有无穷多个。我们选择的条件概率模型应该不仅对训练数据集有很好的拟合，而且对未知数据有很好的预测。

决策树的学习算法通常是以一个递归地选择最有特征，并更具该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类过程。这一过程对应着对特征空间的划分，也对应着决策树的构建。

2. 特征选择

特征选择在于选择对于训练数据集具有分类能力的特征，通常有：信息增益(information gain)和信息增益比(information gain ratio)。

2.1 信息增益

熵(entropy)表示随机变量不确定性的度量。设$X$是一个取有限个值的离散随机变量，其概率分布为

$$P(X=x_i)=p_i,\space i=1,2,...,n$$
随机变量的熵只与$X$的分布有关，因此随机变量的熵可定义为
$$H(p)=-\sum_{i=1}^np_i\log p_i$$
上式中的对数以2为底或自然对数$e$为底，熵的单位分别称作比特(bit)或纳特(nat)。
熵越大，随机变量的不确定性越大。从定义看验证
$$0\leq H(p) \leq \log n$$
设有随机变量$(X,Y)$，其联合概率分布为

$$P(X=x_i,Y=y_i)=p_{ij},\space i=1,2,...,n;\space j=1,2,...,m$$
条件熵$H(Y|X)$表示在已知随机变量$X$的条件下随机变量$Y$的不确定性。随机变量$X$给定的条件下随机变量$Y$的条件熵(conditional entropy)$H(X\space|\space Y)$，定义为$X$给定条件下$Y$的条件概率分布的熵对$X$的数学期望
$$H(Y\space|\space X)=\sum_{i=1}^np_iH(Y\space|\space X=x_i)$$
这里，$p_i=P(X=x_i),\space i=1,2,...,n$。
信息增益表示得知特征$X$的信息使得$Y$的信息的不确定性减少的程度。

信息增益：特征$A$对训练数据集$D$的信息增益为$g(D,A)$，定义为集合$D$的经验熵$H(D)$与特征$A$给定条件下$D$的经验条件熵与特征$A$给定条件下$D$的经验条件熵$H(D\space|\space A)$之差，即

$$g(D,A)=H(D)-H(D\space|\space A)$$
一般地，熵$H(Y)$与条件熵$H(Y\space|\space X)$之差称为互信息(mutual information)。决策树学习中的信息增益等价于训练数据集中类与特征的互信息。
信息增益表示由于特征$A$使得对数据集$D$的分类的不确定性减少的程度。

信息增益计算形式：设训练数据集为$D$，$|D|$表示其样本容量，即样本个数。设有$K$个类$C_k,\space k=1,2,...,K$，$|C_k|$为属于类$C_k$的样本个数，$\sum_{k=1}^K|C_k|=|D|$。设特征$A$有$n$个不同的取值$\{a_1,a_2,...,a_n\}$，根据特征$A$的取值将$D$划分为$n$个子集$D_1,D_2,...,D_n$，$|D_i|$
为$D_i$的样本个数，$\sum_{i=1}^n|D_i|=|D|$。记子集$D_i$中属于类$C_k$的样本的集合为$D_{ik}$，即$D_{ik}=D_i\bigcap C_k$，$|D_{ik}|$为$D_{ik}$的样本个数。于是，可按如下步骤计算特征$A$对训练数据集$D$的信息增益$g(D,A)$
（1） 计算数据集$D$的经验熵$H(D)$

$$H(D)=-\sum_{k=1}^K\dfrac{|C_k|}{|D|}\log_2\dfrac{|C_k|}{|D|}$$
（2）计算特征$A$对数据集$D$的经验条件熵$H(D\space|\space A)$
$$H(D\space|\space A)=\sum_{i=1}^n\dfrac{|D_i|}{|D|}H(D_i)=-\sum_{i=1}^n\dfrac{|D_i|}{|D|}\sum_{k=1}^K\dfrac{|D_{ik}|}{|D_i|}log_2\dfrac{|D_{ik}|}{|D_i|}$$
（3）计算信息增益
$$g(D,A)=H(D)-H(D\space | \space A)$$

2.2 信息增益比

对于取值多的属性，尤其是一些连续型数值，比如两条地理数据的距离属性，这个单独的属性就可以划分所有的样本，使得所有分支下的样本集合都是“纯”的（最极端的情况就是每个叶结点只有一个样本），对于$H(D\space|\space A)$在极限情况下$A$将每一个样本都分到一个结点中去的时候，$H(D\space|\space A)\equiv 0$,此时特征选择结果必然是$A$。显然，以信息增益作为划分训练数据集的特征，存在偏向于选择值较多的特征的问题，使用信息增益比可以对这一问题进行校正。这是特征选择的另一个准则。

信息增益比：特征$A$对训练数据集$D$的信息增益比$g_R(D,A)$定义为其信息增益$g(D,A)$与训练数据集$D$关于特征$A$的值的熵$H_A(D)$之比，即

$$g_R(D,A)=\dfrac {g(D,A)}{H_A(D)}$$
其中，$H_A(D)=-\sum_{i=1}^n\dfrac{|D_i|}{|D|}\log_2\dfrac{|D_i|}{|D|}$，$n$是特征$A$取值的个数。

3. 决策树生成

本节介绍两种典型的决策树生成算法ID3和C4.5。

3.1 ID3算法

ID3算法的核心是在决策树各个结点上应用信息增益准则选择特征，递归地构建决策树。
算法1 （ID3算法）
输入：训练数据集$D$，特征$A$，阈值$\xi$
输出：决策树$T$。
（1）若$D$中所有实例属于同一类$C_k$，则$T$为单结点树，并将类$C_k$作为该节点的类标记，返回$T$；
（2）若$A=\oslash$，则$T$为单结点树，并将D中实例数目最大的类$C_k$作为该结点的类标记，返回$T$；
（3）否则，按计算$A$中各特征对$D$的信息增益，选择信息增益最大的特征$A_g$；
（4）如果$A_g$的信息增益小于阈值$\xi$，则置$T$为单结点树，并将$D$中实例数最大的类作为该节点的类标记，返回$T$；
（5）否则，对$A_g$的每一个可能值$a_i$，依$A_g=a_i$将$D$分割为若干非空子集$D_i$，将$D_i$中实例数最大的类作为标记，构建子结点，由结点及其子结点构成数$T$，返回$T$；
（6）对第$i$个子结点，以$D_i$为训练集，以$A-\{A_g\}$为特征集，递归地调用步骤1~步骤5，得到子数$T_i$，返回$T_i$。

3.2 C4.5算法

与ID3算法的唯一区别就在于特征选择方式不同，C4.5使用信息增益比作为特征选择方式。
算法2 （C4.5算法）
输入：训练数据集$D$，特征$A$，阈值$\xi$
输出：决策树$T$。
（1）若$D$中所有实例属于同一类$C_k$，则$T$为单结点树，并将类$C_k$作为该节点的类标记，返回$T$；
（2）若$A=\oslash$，则$T$为单结点树，并将D中实例数目最大的类$C_k$作为该结点的类标记，返回$T$；
（3）否则，按计算$A$中各特征对$D$的信息增益比，选择信息增益 比最大的特征$A_g$；
（4）如果$A_g$的信息增益比小于阈值$\xi$，则置$T$为单结点树，并将$D$中实例数最大的类作为该节点的类标记，返回$T$；
（5）否则，对$A_g$的每一个可能值$a_i$，依$A_g=a_i$将$D$分割为若干非空子集$D_i$，将$D_i$中实例数最大的类作为标记，构建子结点，由结点及其子结点构成数$T$，返回$T$；
（6）对第$i$个子结点，以$D_i$为训练集，以$A-\{A_g\}$为特征集，递归地调用步骤1~步骤5，得到子数$T_i$，返回$T_i$。

4. CART

CART是在给定输入随机变量$X$条件下输出随机变量$Y$的条件概率分布的学习方法。CART假设决策树是二叉树，这样的决策树等价于递归地二分每个特征，将输入空间即特征空间划分为有限个单元，并在这些单元上确定预测的概率分布，也就是输入给定的条件下输出的条件概率分布。

4.1 分类树的生成

基尼指数：分类问题中，假设有$K$个类，样本点属于$k$类的概率为$p_k$，则概率分布的基尼指数定义为

$$Gini(p)=\sum_{k=1}^Kp_k(1-p_k)=1-\sum_{k=1}^Kp_k^2$$
对于给定的样本集合$D$，其基尼指数定义为
$$Gini(D)=1-\sum_{k=1}^K(\dfrac{|C_k|}{|D|})^2$$
这里，$C_k$是$D$中属于第$k$类的样本子集，$K$是类的个数。
如果样本集合$D$根据特征$A$是否取某一可能值$a$被分割为$D_1$和$D_2$两部分，即
$$D_1=\{(x,y)\in D\space|\space A(x)=a\}, \space D_2=D-D_1$$
则在特征$A$的条件下，集合$D$的基尼指数定义为
$$Gini(D,A)=\dfrac{|D_1|}{|D|}Gini(D_1)+\dfrac{|D_2|}{|D|}Gini(D_2)$$
基尼指数$Gini(D)$表示集合$D$的不确定性。基尼指数$Gini(D,A)$表示经$A=a$分割后集合$D$的不确定性。基尼指数越大，样本集合的不确定性也就越大，这一点与熵类似。

算法3 （CART生成算法）
输入：训练数据集$D$，停止计算的条件；
输出：CART决策树
根据训练数据集，从根节点开始，递归地对每个结点进行以下操作，构建二叉决策树：
（1）设结点的训练数据集为$D$，计算现有特征对该数据集的基尼指数。对每一个特征$A$，对其可能取的每个值$a$，根据样本点对$A=a$的测试为“是”或“否”将$D$分割成$D_1$和$D_2$两部分，并计算$A=a$时的基尼指数。
（2）在所有可能的特征$A$以及它们所有可能的切分点$a$中，选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点。依最优特征与最优切分点，从现结点生成两个子结点，将训练数据集依特征分配到两个子结点中去。
（3）对两个子结点递归地调用（1），（2），直至满足停止条件。
（4）生成CART决策树。
算法停止条件：停止条件的选取有多种方式
（1）结点中的样本个数小于预定的阈值
（2）样本集的基尼指数小于预定阈值（样本基本属于同一类）
（3）没有更多特征
（4）更一般的情况我们计算χ2(卡方)值来判断分类条件和类别的相关程度，当χ2很小时说明分类条件和类别是独立的，即按照该分类条件进行分类是没有道理的，此时节点停止分裂。