机器学习实战——决策树

目录

一.什么是决策树

 1.1 决策树的生成

1.2 如何选择最优划分属性

 方法二：信息增益率

方法三：基尼指数

1.2.1 划分数据集

1.2.2 选择最好的数据集划分方式

二.创建树

2.2 使用决策树的分类函数

2.3 存储决策树

---

一.什么是决策树

  决策树，就是一个类似于流程图的树形结构，树内部的每一个节点代表的是对一个特征的测试，树的分支代表该特征的每一个测试结果，而树的每一个叶子节点代表一个类别。树的最高层是就是根节点。如下图就是个决策树

 1.1 决策树的生成

（1）特征选择：特征选择是指从训练数据中众多的特征中选择一个特征作为当前节点的分裂标准，如何选择特征有着很多不同量化评估标准标准，从而衍生出不同的决策树算法。

（2）决策树生成： 根据选择的特征评估标准，从上至下递归地生成子节点，直到数据集不可分则停止决策树停止生长。 树结构来说，递归结构是最容易理解的方式。 

（3）剪枝：决策树容易过拟合，一般来需要剪枝，缩小树结构规模、缓解过拟合。剪枝技术有预剪枝和后剪枝两种。

预剪枝：生成树过程中预判。类似于贪心算法，生成前后，验证精度减少或相等则不生成树。

后剪枝：先建树，再判断是否剪枝

注：在构造决策树时，我们需要解决的第一个问题是：确定当前数据集上的决定性特征，为了得到该决定性特征，必须评估每个特征，完成测试之后，原始数据集就被划分为几个数据子集，这些数据子集会分布在第一个决策点的所有分支上，如果某个分支下的数据属于同一类型，则当前无序阅读的垃圾邮件已经正确的划分数据分类，无需进一步对数据集进行分割，如果不属于同一类，则要重复划分数据子集，直到所有相同类型的数据均在一个数据子集内。

   1.2 创建分支的伪代码createBranch（）如下：

If so return 类标签：
Else
     寻找划分数据集的最好特征
     划分数据集
     创建分支节点
         for 每个划分的子集
             调用函数createBranch()并增加返回结果到分支节点中
         return 分支节点

1.2 如何选择最优划分属性

方法一：信息增益 （即是在划分数据前后信息发生的变化称为信息增益）。信息增益既可以用熵也可以用GINI系数来计算

信息熵：度量样本集合纯度的指标之一，信息熵（Ent(D)）的值越小，则样本集合（D）的纯度越高，Ent(D)最小为0，最大值为log2|y|

计算公式：

 信息熵代码实现：

def calcShannonEnt(dataSet):
    numEntries = len(dataSet)
    labelCounts = {}#字典
    for featVec in dataSet: #the the number of unique elements and their occurance
        currentLabel = featVec[-1]
        #扩展字典添加新键值
        if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0
        labelCounts[