深度学习3 基于规则的决策树模型

1.决策树是一种归纳学习算法，从一些没有规则、没有顺序、杂乱无章的数据中，推理出决 策模型。不管是什么算法的决策树，都是一种对实例进行分类的树形结构。决策树有三个要素：节点(Node)、分支(Branches)和结果(Leaf)。

训练决策树，其实就是对训练样本的分析，把样本通过某个边界划分成不同的结果。如 图3.2所示，王华想玩游戏，但是他妈妈要求他写完作业才能玩。

2. ID3 算法

ID3算法通过熵(Entropy)  来决定谁来做父节点，也就是“条件”。 一般来说，决策树就是不断地if…else，不断地做判断，每做一个判断就会产生新的分支，这个叫分裂。谁来分类，是根据Entropy 最小的原则来判断的。

(1)Entropy 衡量一个系统的混乱程度，例如，气体的 Entropy 会高于固体的Entropy。

(2)Entropy 可以表示一个随机变量的不确定性，例如，很多 低概率事件的 Entropy 就很高，很少 高概率事件的Entropy 会很低。

(3)Entropy也可以用来计算比特信息量。

Entropy不断最小化，其实就是提高分类 正确率的过程。

3.C4.5

        通过对 ID3 的