决策树 ID3及C4.5算法原理及代码实现

决策树

基本介绍：

    决策树（decision tree）是一种常见的机器学习方法，表示基于特征对实例进行分类的过程，代表了对象属性与对象值之间的映射关系。模型具有可读性，分类速度快的优点。学习时利用训练数据，根据损失函数最小化的原则建立决策树模型，预测时根据所得的决策树进行分类。决策树是一种树型结构，每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，而每个叶子代表一种种类。如图所示：

 

决策树：

    用决策树分类即从根节点开始，对实例的特征进行测试，根据测试结果将实例分配到子节点中。如根据人头发的长或短将其分到两个子节点中。即将决策树有非此即彼的性质，并且所规定的集合应该是完备的，即每个实例都只能被一条路径或者规则所覆盖，也就是说一个人不可能头发即长又短，同时我们的数据中头发的类别应该只有两种（长、短），若是出现了第三种可能，则应该相应增加类别。

    同时，决策树也表示了一定的概率分布，即最终每个叶节点上的分类往往代表着属于该类的概率较大。

    决策树实际上代表着一种分类的规则，如何选择分类的特征来构造树则是问题的关键。因此我们需要找到一种方法来从诸多特征中选择最优的特征，如果一个特征有大于二个类，可能还要寻找最优候选值。

 

特征选择：

    一个良好的特征要对于数据具有较好的分类能力，若利用某个特征进行分类与随机分类的结果并没有很大差异，那么这样的特征对我们的分类并没有什么作用。但是我们如何从这么多的特征中选择合适的特征？在这里利用熵引入了信息增益和信息增益比的概念。

熵、条件熵、信息增益：

    在信息论中熵表示一种对信息的度量，是一种消除不确定性所需信息量的度量，也可看做对信息量的期望。

    信息量：$$ I(x_{i})=log(\frac{1}{p(x_{i})}) $$

    $ P(x_{i}) $表示离散随机变量的概率分布，概率越大表示事件所含的信息量较小。例如中国队进了世界杯，这是一件小概率事件，因此它发生了会给你带来很多的信息。而熵则是平均信息量，即：$$ H(p)=-\sum p_{i}log(p_{i}) $$

    熵越大，随机变量的不确定性就越大。

&nb