ID3和C4.5

参考周志华老师的《机器学习》

ID3和C4.5都是决策树算法，区别在于寻找最优划分属性时使用的指标，ID3使用的是信息熵，C4.5使用的信息增益率

ID3:

目的：将训练集数据分类

输入：训练集D{（a1,A1),(a2,A2),(a3,A3)...},属性集S{b1,b2,b3...}

训练集的数据中类似a1，b1的数据为多维向量，类似A1的数据为类别，一个数据包含多个属性。属性集为可能的所有属性种类

递归过程：

treegenerate(D,S):

1.若D中数据为同一类别C，将结点标记为C类结点

2.若D中数据的属性均相同，将结点标记为D中样本数最多的类别

从属性集中选择最优划分属性b

（信息熵、信息增益和信息增益率的公式见https://blog.youkuaiyun.com/qq_36523839/article/details/81408326）

对D中b的每个值bx生成子结点，用Dv表示在b上取bx的样本集

treegenerate(Dv,S\{b}):