夏日炎炎，使用决策树去挑选西瓜（python实现）

本篇文章将从决策树模型的原理开始讲起，通过解决如何在夏日中挑选西瓜这一问题来全面掌握。

本文目录：

一：问题导向

二：ID3算法预备知识：

• 2.1：熵
• 2.2 : 信息增益

三：代码实现及结果分析

• 3.1：标注数据：
• 3.2：计算信息熵（经验熵：
• 3.3：计算信息增益：

四：决策树生成和修剪

一：问题导向

夏日炎炎，我们如何使用过去的经验来判断一个西瓜是不是好瓜呢？

我们一般会根据它的 色泽,根蒂,敲声,纹理,触感等等来判断它是不是一个好瓜。

以下是去年父亲买瓜时的信息：

色泽,根蒂,敲声,纹理,脐部,触感,好坏

青绿,蜷缩,浊响,清晰,凹陷,硬滑,好瓜
乌黑,蜷缩,沉闷,清晰,凹陷,硬滑,好瓜
乌黑,蜷缩,浊响,清晰,凹陷,硬滑,好瓜
青绿,蜷缩,沉闷,清晰,凹陷,硬滑,好瓜
浅白,蜷缩,浊响,清晰,凹陷,硬滑,好瓜
青绿,稍蜷,浊响,清晰,稍凹,软粘,好瓜
乌黑,稍蜷,浊响,稍糊,稍凹,软粘,好瓜
乌黑,稍蜷,浊响,清晰,稍凹,硬滑,好瓜
乌黑,稍蜷,沉闷,稍糊,稍凹,硬滑,坏瓜
青绿,硬挺,清脆,清晰,平坦,软粘,坏瓜
浅白,硬挺,清脆,模糊,平坦,硬滑,坏瓜
浅白,蜷缩,浊响,模糊,平坦,软粘,坏瓜
青绿,稍蜷,浊响,稍糊,凹陷,硬滑,坏瓜
浅白,稍蜷,沉闷,稍糊,凹陷,硬滑,坏瓜
乌黑,稍蜷,浊响,清晰,稍凹,软粘,坏瓜
浅白,蜷缩,浊响,模糊,平坦,硬滑,坏瓜
青绿,蜷缩,沉闷,稍糊,稍凹,硬滑,坏瓜 

但我们会对这些判断条件有一个优先级，先要挑最重要的那个因素考虑，可能对西瓜而言没有这么明显，但当我们去看医生时，如果我们的症状是腹泻，头疼，脱水，昏厥，那么医生会按照 昏厥 这个 权重最大 的症状先判断生命特征，再按照 *脱水 *去开点滴，再按照 腹泻 判断可能是肠胃炎等等。

树结构大家应该都熟知了，通过根节点开始，通过判断节点信息的是或否决定分支，逐次向下，最后在叶子节点生成最终的决策。

决策树的过程和这个类似，就是先挑“权重”最大的那个考虑，然后再往下细分。

那么我们用一个什么标准来 衡量某个特征是权重最大的呢？

这里有信息增益和基尼系数两个。我们使用ID3算法

ID3算法采用的是信息增益这个量。

二：ID3算法的预备知识

（理论熟练的同学可以跳过这一部分）

2.1 熵

在物理中： 熵是混乱的度量指标。

对于一个数据集而言，它的类别越多，越混乱.

我们引入 “信息熵” 来作为度量样本集合混乱度（纯度）的指标，采用信息增益这个量来作为纯度的度量，选取信息增益最大的特征进行分裂（即作为结点）。

信息熵的计算公式是：
$$E(x)=-\sum _{i=1}^{N}p(x_i)lo{g}_{2}p(x_i)$$

2.2 . 信息增益

构造树的基本想法是随着树深度的增加，节点的熵迅速地降低。熵降低的速度越快越好，这样我们有望得到一棵高度最矮的决策树。

在没有给定西瓜信息时，根据去年数据，我们只知道新的一个瓜好瓜的概率为8/17，坏瓜的概率为9/17.此时的熵为：

$$E_n(x)=-\frac{8}{17}lo{g}_2\frac{8}{17}-\frac{9}{17}lo{g}_2\frac{9}{17}$$