决策树模型

一、决策树学习

决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得各个子数据集有一个最好的分类过程。开始，构建根结点，将所有训练数据集都放在根结点。选择一个最优特征，按照这一特征将训练数据集分割成子集，使得各个子集有一个在当前条件下最好的分类。如果这些子集已经能够被基本正确分类，那么构建叶结点，并将这些子集分到所对应的叶结点中去；如果还有子集不能被正确分类，那么就对这些子集选择新的最优特征，继续对其进行分割，构建相应的结点。如此递归地进行下去，直至所有训练数据子集被基本正确分类，或者没有合适的特征为止。最后每个子集都被分到叶结点上，即都有了明确的类。

二、特征选择

在对训练数据集分类时，究竟选择哪个特征更好？这就要求确定选择特征的准则。直观上如果一个特征具有更好的分类能力，或者说，按照这一特征将训练数据集分割成子集，使得各个子集在当前条件下有最好的分类，那么就选择这个特征。

2.1 信息增益

在信息论与概率统计中，熵表示随机变量不确定性的度量。设X是一个取有限个值的离散随机变量，其概率分布为

$$P(X=x_i) = p_i, i=1,2,\cdots,n$$
则随机变量X的熵定义为
$$H(x)= - \sum_{i=1}^n p_i \log_2 p_i$$
若$p_i=0$,则定义0log0＝0。熵越大，随机变量的不确定性就越大。

条件熵H(Y|X)表示在已知随机变量X的条件下随机变量Y的不确定性。定义为X给定条件下Y的条件概率分布的熵对X的数学期望

$$H(Y|X)= \sum_{i=1}^np_iH(Y|X=x_i)$$
信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度。

特征A对训练数据集D的信息增益g(D,A),定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差，即

$$g(D,A) = H(D) - H(D|A)$$
决策树学习应用信息增益准则选择特征。给定训练数据集D和特征A，经验熵H(D)表示对数据集D进行分类的不确定性。而经验条件熵H(D|A)表示在特征A给定的条件下对数据集D进行分类的不确定性。那么他们的差，即信息增益，就表示由于特征A而使得对数据集D的分类的不确定性减少的程度。信息增益大的特征具有更强的分类能力。

信息增益算法：

输入：训练数据集D和特征A

输出：特征A对训练数据集D的信息增益g(D,A)

(1) 计算数据集D的经验熵H(D)

$$H(D)= - \sum_{i=1}^K \frac{|C_k|}{|D|} \log_2 \frac{|C_k|}{|D|}$$
|D|表示数据集的大小，$｜C_k｜$表示第k类数据的大小

(2) 计算特征A对数据集D的经验条件熵H(D|A)

$$H(D|A) = \sum_{i=1}^n \frac {|D_i|}{|D|} H(D_i)$$
$｜D_i｜$ 表示 特征A取第i个值的数据的大小

(3) 计算信息增益

$$g(D,A)= H(D) - H(D|A)$$

2.2 信息增益比

信息增益值的大小是相对训练数据集而验的，并且没有绝对意义。如果如果某个特征所有的取值都不相同（ID）,那么根据这个特征对数据集划分使得条件熵为0，但是这个特征并不是最优特征。为消除这种影响引入了特征的内部信息

$$info(D,A)= - \sum_{i=1}^n \frac{|D_i|}{|D|} \log \frac{|D_i|}{|D|}$$
很明显，A的取值越多，内部信息越大，加入这个惩罚项可以得出信息增益比的公式
$$g_r(D,A) = \frac {g(D,A)}{info(D,A)}$$

三、决策树的生成

3.1 ID3算法

从根节点开始，对节点计算所有可能的特征的信息增益，选择信息增益最大的特征作为节点的特征，由该特征的不同值建立子节点，再对子节点递归的调用以上方法，构建决策树，直到所有的信息增益均很小或没有特征可以选择为止。最后得到一颗决策树。

算法

输入：训练数据集D，特征集A，阈值 $\epsilon$

输出：决策树T

1. 若D中所有实例属于同一类$C_k$，则T为单结点树，并将类$C_k$作为该结点的类标记，返回T
2. 若$A= \emptyset$ ,则T为单结点树，并将D中实例数最大的类$C_k$作为该结点的类标记，返回T
3. 否则，计算A中各特征对D的信息增益，选择信息增益最大的特征$A_g$
4. 如果$A_g$的信息增益小于阈值，则置T为单结点树，并将D中实例数最大的类$C_k$作为该结点的类标记，返回T
5. 否则，对$A_g$中每一可能的取值$a_i$，依$A_g=a_i$将D分割为若干非空子集$D_i$，将$D_i$实例数最大的类作为标记，构建子节点，由结点和子节点构成T
6. 对生成的子节点$D_i$，以$A-{A_g}$为特征集，递归的调用以上步骤

3.2 C4.5算法

C4.5算法与ID3算法相似，C4.5在生成的过程中，用信息增益比来选择特征。

四、决策树的减枝

构建决策树是过多的考虑如何提高对训练数据的正确分类，从而构建出过于复杂的决策树，导致对未知的测试数据的分类没有那么准确，因此需要对决策树进行简化

决策树的损失函数：

$$C_a(T) = \sum_{t=1}^{|T|} N_tH_t(T) +a|T|$$
t为树T的叶结点，该结点有$N_t$个样本点，$H_t(T)$为叶结点t的经验熵。|T|为树T叶结点的数量。

｜T｜可以表示树的复杂度

当a=0时不考虑树的复杂度s

当a 无穷大时不考虑与训练数据的拟合度

剪枝算法：

输入：树T，参数a

输出：修建后的树Ta

1. 计算每个节点的经验熵
2. 递归的从树的叶结点向上回缩
3. 如果回缩后的损失函数减小，则进行剪枝，将父节点变为新的叶结点。
4. 返回（2），直到不能继续为止，得到损失函数最小的树Ta