决策树算法简介

一、基础理论

决策树的主要优点是模型具有可读性，分类速度快。学习时，会利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，可以利用决策树模型进行分类。

1. 通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。
2. 代表算法：

①ID3算法——Quinlan，1986；

②C4.5算法——Quinlan，1993；

③CART算法——Breiman,1984.

1. 三种划分数据集的方法：

①信息增益算法（ID3）；

②信息增益率（C4.5）；

③基尼指数（CART）。

二、节点纯度的度量

熵用于表示随机变量不确定性的度量。假设变量S有n种情况，pi表示第i情况的概率，那么随机变量S的熵定义为：

熵取值最大，随机变量不确定性就最大。

    在随机变量S给定的条件下，随机变量A的条件熵Entropy(A|S)定义为：

• 信息增益表示的是：得知特征X的信息而使得分类Y的信息的不确定性减少的程度。特征A对数据集D的信息增益表示为：

• ID3具体做法是：从根节点开始，对节点计算所有可能特征的信息增益，选择信息增益最大的特征作为节点的特征，并由该特征的不同取值构建子节点；对子节点递归地调用以上方法构建决策树，直到所有特征的信息增益均很小或者没有特征可选时为止。
• 基尼系数（CART）：

 CART解决过拟合的方法：预剪枝和后剪枝。

• ID3算法的缺点：①没考虑连续特征，大大限制了算法的应用场景；②没考虑缺失值情况；③没考虑过拟合情况；④相同条件下，取值较多的特征相对取值较少的特征信息增益大。
• C4.5算法对以上缺点进行了改进。