决策树

目录

 

1.决策树的概念

2.决策树的学习

2.1 特征选择

2.1.1 信息增益

2.1.2 信息增益比

2.2 决策树的生成

2.2.1 ID3

2.2.2 C4.5

2.3 决策树的剪枝

补充知识

---

1.决策树的概念

决策树模型是一种树形结构，可以看成是if-then的集合。

决策树有节点和边，节点分为叶子节点和内部节点（不是叶子节点的就是内部节点）。

2.决策树的学习

给定数据集  , xi是n维的特征向量，n是特征个数。yi为标记。n是样本容量。

决策树的目标是根据给定的训练集构建一个模型用以对实例进行分类。能对训练数据集进行正确划分的决策树可能有多个，也可能一个都没有，因此目标是生成一个与训练数据矛盾较小的决策树，同时要具有较好的泛化能力。通常使用正则化的极大似然函数来作为损失函数进行学习。

决策树的学习通常是递归的选择最优特征进行划分。此方法生成的决策树可能会具有过拟合，因此需要对已生成的树自下而上进行剪枝。具体为去掉过于细分的叶节点，使其回退到父节点。如果特征数量很多，可以在决策树学习开始时就进行选择，留下对训练数据有足够分类能力的特征。

即决策树学习主要包括 特征选择，决策树生成，决策树的剪枝 三部分。常用算法有ID3， C4.5， CART。

2.1 特征选择

特征选择的准则是 信息增益 或 信息增益比。

特征选择是决定用哪一个特征来划分特征空间。

2.1.1 信息增益

信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度。

特征A对训练数据集D的信息增益g(D,A)，定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A）之差，即

因此特征选择的方法是计算每个特征的信息增益，并比较它们的大小，选择信息增益最大的特征。

2.1.2 信息增益比

信息增益偏向于选择取值较多的特征的问题。使用信息增益比可以对这一问题进行校正。

特征A对训练数据集D的信息增益比定义为其信息增益g(D,A)与训练数据集D关于特征A的值的熵之比，即：

, n为特征A取值的个数。

2.2 决策树的生成

2.2.1 ID3

ID3是在决策树各个节点上应用信息增益准则选择特征，递归地构建决策树。

2.2.2 C4.5

C4.5是在决策树各个节点上应用信息增益比准则选择特征，递归地构建决策树。

2.3 决策树的剪枝

决策树生成算法递归地产生决策树，直到不能继续下去为止。这样或许对于训练数据地分类很准确，但是对于未知的测试数据集的分类却没有那么准确，即出现过过拟合现象。过拟合的原因在于学习时过多的考虑如何提高对训练数据的正确分类,从而构建出过于复杂的决策树。

补充知识

熵：表示随机变量不确定性的度量。