Decision Tree 是机器学习的门槛？决策树原理，6个优缺点，3个算法，ID3算法自实现

目录

背景

一、什么是Decision Tree

1）entrophy 熵：

2）Information gain 信息增益

二、ID3 算法 代码实现构造决策树

1）ID3算法实现

2）ID3算法改进

3）怎样预测算法实现

三、 scikit-learn 中决策树模型使用方法

四、 决策树模型优点和缺点分析

五、总结

---

概要

本文总结了决策树的基本原理，和建立决策树中两个重要的知识点：熵和信息增益。 讲解了ID3算法的实现， 在sk.learn中怎样调用决策树模型并评估，以及决策树的优缺点。看完之后，你可以手撸出决策树代码自己实现啦。这是我第一次从头到尾写了一个决策树的算法，并且用这个模型进行了非常简单的预测。我还是挺开心的。听人说决策树是机器学习的门槛，我一脚踏了进去。这里记录下这一脚。

一、什么是Decision Tree

决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。决策树分为分类树（Classification Tree，算法有ID3, C4.5, CART）和回归树（RegressionTree，回归算法有CART）

举个例子遇到一只熊你是逃跑还是攻击？

 这样的决策思维就是典型的决策树了。要弄懂怎样构造决策树，作重要的一步弄懂他是怎么样分裂的。决策树的核心算法在于特征选择和决策树的生成。

1.特征选择

特征选择即选择最优的划分属性。从当前的数据中选择一个特征作为当前的划分标准。我们希望在不断的划分中，决策树的分支点所包含的样本数尽可能多为同一类别，即这个点的熵（Entrophy）越来越低，逐渐倾向于有序。而选择最优的特征标准不同，决策树的算法也不同。常见的方法有以下几种：

1. 信息增益 ID3算法
2. 信息增益率  C4.5算法
3. 基尼系数     CART算法

1）entrophy 熵：

在物理学中熵形容元素或空间的无序性。在机器学习里面，熵形容数据的无序性。你可以将建立决策树的过程就是减小熵值得过程，将一条条一缕缕信息，打包成一包一包的书籍，再把一包整理分成一部一部，再将一部书分成一卷一卷，再将一卷分成一章一章，再将一章分成一节一节。信息从无序到有序的过程就是决策树建立的过程。然后，你问我我想写一篇关于决策树的文章到哪里找，我根据刚才的分类告诉你到1号包第一部第一卷第一章中第二节找。这就是根据我们决策树模型进行预测了。 

熵怎么计算呢？

 P代表x事件发生的概率，b代表底，可以是2也可以是10.

我们可以看出，当训练集只有一个类别时候，熵最低，H = -1 * 1 = 0；当训练集各个类别均匀分布的时候，熵最大。。

举个例子来说，以下五个数是年龄和收入高或者底的数据：

计算公式为：

熵 ： = 1P(xi) *  = −((2/5∗log2 2/5)+(3/5∗log2 3/5)) = −(−0.5287712379549449+−0.44217935649972373) = 0.97 

将上述变为代码看得更加直观清晰一些：

import math
# 1代表高收入，2代表低收入
entropy = -(2/5 * math.log(2/5, 2) + 3/5 * math.log(3/5, 2))


prob_0 = income[income['high_income'] == 0].shape[0] / income.shape[0]
prob_1 = income[income['high_income'] != 0].shape[0] / income.shape[0]

income_entropy = -(prob_0 * math.log(prob_0, 2) + prob_1 * math.log(prob_1, 2))

2）Information gain 信息增益

知道了熵这个重要概念，怎样指导我们决策树分裂呢？

一种策略是将可能的分裂成的左孩子和右孩子的可能性都列出来，依次计算熵值，再减去现在的熵值。得出的值为正的，才表示这个分裂方式使得无序性降低，是个好选择。差值最大的，则表示这样的分裂方式最好。

其中设计一个重要概念是信息增益。它能告诉我们，二叉树中怎样分裂效果最好。他的公式是：

T是指我们的目标变量的熵值，A是指我们分裂的变量。我们刚才提出的方法目标就是找到最大信息增益的分裂方式。看公式是不是有些眼晕？不要着急，我