决策树学习1--熵的计算及python实现代码

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。

决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。

今天是第一个内容：

特征选择：

首先提出熵的概念：熵是表示随机变量不确定性的度量。

计算方法：

X：表示当前的数据集合。

x：表示当前数据集合中的第k类，也就是我们目标变量的类型。

熵越大，证明越不稳定。 

我们用信息熵来衡量一个分支的纯度，那哪个特征是最优的特征呢？在决策树学习中应用信息增益准则来选择最优特征。信息增益定义如下:

对训练集D，计算每个特征的信息增益熵，并比较大小，选择最大的特征。

信息增益熵计算的代码：

数据使用的是《统计学习方法》上的例题：