sheng的学习笔记-AI-决策树（Decision Tree）

决策树(decision tree)是一类常见的机器学习方法。以二分类任务为例，我们希望从给定训练数据集学得一个模型用以对新示例进行分类，这个把样本分类的任务，可看作对“当前样本属于正类吗？”这个问题的“决策”或“判定”过程。顾名思义，决策树是基于树结构来进行决策的，这恰是人类在面临决策问题时一种很自然的处理机制。例如，我们要对“这是好瓜吗？”这样的问题进行决策时，通常会进行一系列的判断或“子决策”：我们先看“它是什么颜色？”，如果是“青绿色”，则我们再看“它的根蒂是什么形态？”，如果是“蜷缩”，我们再判断“它敲起来是什么声音？”，最后，我们得出最终决策：这是个好瓜。

图4.1 西瓜问题的一棵决策树显然，决策过程的最终结论对应了我们所希望的判定结果，例如“是”或“不是”好瓜；决策过程中提出的每个判定问题都是对某个属性的“测试”，例如“色泽=？”“根蒂=？”；每个测试的结果或是导出最终结论，或是导出进一步的判定问题，其考虑范围是在上次决策结果的限定范围之内，例如若在“色泽=青绿”之后再判断“根蒂=？”，则仅在考虑青绿色瓜的根蒂。

一般的，一棵决策树包含一个根结点、若干个内部结点和若干个叶结点；叶结点对应于决策结果，其他每个结点则对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子结点中；根结点包含样本全集。从根结点到每个叶结点的路径对应了一个判定测试序列。决策树学习的目的是为了产生一棵泛化能力强，即处理未见示例能力强的决策树，其基本流程遵循简单且直观的“分而治之”(divide-and-conquer)策略

划分选择

一般而言，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的“纯度”(purity)越来越高。

选定分裂准则（比如基尼指数）之后，在进行节点分裂时，针对每个特征变量，首先寻找最优临界值（cut），并计算以该变量为分裂变量可带来节点不纯度函数之下降幅度。然后，选择可使节点不纯度下降最多的变量作为分裂变量

信息增益

一般而言，信息增益越大，则意味着使用属性a来进行划分所获得的“纯度提升”越大。因此，我们可用信息增益来进行决策树的划分属性选择

然后，我们要计算出当前属性集合{色泽，根蒂，敲声，纹理，脐部，触感}中每个属性的信息增益。以属性“色泽”为例，它有3个可能的取值：{青绿，乌黑，浅白}。若使用该属性对D进行划分，则可得到3个子集，分别记为：D1（色泽=青绿），D2（色泽=乌黑），D3（色泽=浅白）。

从上面的Ent(D)可以看出来，纯度可以理解为节点分类的确定性，比如属于第1类的概率为1，属于第0类的概率为0，显然这是的确定性是最高的，因而此时的纯度也是也是最高的；如果属于第1类的概率为0.5，属于第0类的概率也为0.5，显然，此时很难确定，因而纯度是最低的。D1在6个样本中占比是3:3，但D2的占比是4:2，所以D2的纯度高，Ent(D2)小

对于信息增益：类似的，我们可计算出其他属性的信息增益：

Gain（D，根蒂）=0.143;

Gain（D，敲声）=0.141;

Gain（D，纹理）=0.381;

Gain（D，脐部）=0.289;

Gain（D，触感）=0.006。

增益率

在上面的介绍中，我们有意忽略了表4.1中的“编号”这一列。若把“编号”也作为一个候选划分属性，则根据式(4.2)可计算出它的信息增益为0.998，远大于其他候选划分属性。这很容易理解：“编号”将产生17个分支，每个分支结点仅包含一个样本，这些分支结点的纯度已达最大。然而，这样的决策树显然不具有泛化能力，无法对新样本进行有效预测。