机器学习 第4章-决策树

机器学习 第4章-决策树

4.1 基本流程

决策树(decision tree)是一类常见的机器学习方法。以二分类任务为例，我们希望从给定训练数据集学得一个模型用以对新示例进行分类，这个把样本分类的任务，可看作对“当前样本属于正类吗？”这个问题的“决策”或“判定”过程。顾名思义，决策树是基于树结构来进行决策的，这恰是人类在面临决策问题时一种很自然的处理机制。

显然，决策过程的最终结论对应了我们所希望的判定结果。

一般的，一棵决策树包含一个根结点、若干个内部结点和若干个叶结点;叶结点对应于决策结果，其他每个结点则对应于一个属性测试;每个结点包含的样本集合根据属性测试的结果被划分到子结点中:根结点包含样本全集。从根结点到每个叶结点的路径对应了一个判定测试序列。决策树学习的目的是为了产生一棵泛化能力强，即处理未见示例能力强的决策树，其基本流程遵循简单且直观的“分而治之”(divide-and-conquer)策略。如图4.2所示

显然，决策树的生成是一个递归过程。在决策树基本算法中，有三种情形会导致递归返回:
(1)当前结点包含的样本全属于同一类别，无需划分；
(2)当前属性集为空，或是所有样本在所有属性上取值相同，无法划分；
(3)当前结点包含的样本集合为空，不能划分。

在第(2)种情形下，我们把当前结点标记为叶结点，并将其类别设定为该结点所含样本最多的类别；
在第(3)种情形下，同样把当前结点标记为叶结点，但将其类别设定为其父结点所含样本最多的类别。
注意这两种情形的处理实质不同: 情形(2)是在利用当前结点的后验分布，而情形(3)则是把父结点的样本分布作为当前结点的先验分布。

4.2 划分选择

由算法4.2可看出决策树学习的关键是第8行，即如何选择最优划分属性。

4.2.1 信息增益

“信息熵”(information entropy)是度量样本集合纯度最常用的一种指标假定当前样本集合$D$中第$k$类样本所占的比例为$p_k(k=1,2,..,|Y|)$，则$D$的信息熵定义如式4.1所示
$$Ent(D)=-\sum _{k=1}^{|Y|}{p}_{k}lo{g}_2{p}_k$$
Ent(D)的值越小，则 D的纯度越高

假定离散属性$a$有$V$个可能的取值$a^1,a^2,...,a^V$，若使用$a$来对样本集$D$进行划分，则会产生$V$个分支结点，其中第$v$个分支结点包含了$D$中所有在属性 $a$上取值为 $a^v$的样本，记为 $D^{}$