决策树原理及实战代码

目录

1 定义

2 基本流程

3 划分选择 

3.1 信息增益(ID3)

​3.2 增益率（C4.5)

3.3 基尼系数（CART）

4 剪枝处理

4.1 预剪枝

4.2 后剪枝

5 多变量决策树

6 决策树优缺点

6.1 优点

6.2 缺点

7 代码实践

---

1 定义

    决策树是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3、C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。

     举个例子，我们要对“这是好瓜吗”这个问题进行决策时，通常会进行一系列子决策：通过色泽、根蒂、敲声等方式进行判断，最终得出结论是否为好瓜，这个过程即可以看作一个决策树运行的过程。

 

2 基本流程

    决策树通常有三个步骤：特征选择、决策树的生成、决策树的修剪。

    一个决策树包含了一个根节点，若干个内部节点和若干个叶节点。用决策树分类时，从根节点开始，对实例的某一特征进行测试，根据测试结果将实例分配到其子节点，此时每个子节点对应着该特征的一个取值，如此递归的对实例进行测试并分配，直到到达叶节点，最后将实例分到叶节点的类中。

    下图为决策树示意图，圆点——内部节点，方框——叶节点。

此图采用博客https://blog.youkuaiyun.com/jiaoyangwm/article/details/79525237中的图

      决策树学习的目的是为了产生一棵泛化能力强，即处理未见实例能力强的决策树，其基本流程遵循简单且直观的“分而治之”的思想 。决策树算法的伪码如下图所示。

3 划分选择 

    在选择每一步的特征值时，如何对特征选择的先后进行判断呢？以判断西瓜好坏为例子，图4-1中以“色泽-根蒂-敲声”的顺序进行判断，那可不可以以“敲声-色泽-根蒂”的顺序进行判断呢？这里提供三种划分选择的方式。

3.1 信息增益(ID3)

    这里引入熵的概念。“信息熵”是度量样本集合纯度的最常用的一种指标。假定当前样本集合D中第k类样本所占比例为pk，则样本集合D的信息熵定义为：

&nb