Python实现决策树_ID3算法

决策树：

ID3算法：

1、香农熵：

如果待分类的事务可能划分在多个分类中，则  x  i  的信息定义为： ， 其中 p (   x i  ) 选择该分类的概率。

熵定义为信息的期望值，计算公式为：，当熵越高时，说明不同类型的数据越多，数据集集合无序程度越高。

选择dataSet数据集中最后一项分类（ featVec[- 1 ]）的香农熵计算，代码实现如下：

1. import math
2. def calcShannonEnt(dataSet):
3.     numEntries = len(dataSet)
4.     labelCounts = {}
5.     for featVec in dataSet:
6.         currentLabel = featVec[-1]
7.         labelCounts[currentLabel] = labelCounts.get(currentLabel, 0) + 1  
8.     shannonEnt = 0.0
9.     for key in labelCounts:
10.         prob = float(labelCounts[key])/numEntries
11.         shannonEnt -= prob * math.log(prob,2)
12.     return shannonEnt 

2、按给定的特征划分数据集：