机器学习 - 决策树ID3算法

最近研究树模型，从最简单的决策树开始研究，扼要的说下最简单的ID3算法。

对于机器学习的数据: train_x, train_y, test_x, test_y。当然test_y通常是被预测的值。对于决策树而言，就是事先利用train_x与train_y建立一颗泛化性能足够好的树，以供后期分类test_x。

1.ID3算法的特征只能是标称属性；对于数值属性，则必须做离散化处理。如下图（这是一个已经被训练好的树，因为叶子节点已经给出了明确的分类，有贷款意向和无贷款意向），数据总共包含四个属性：职业，年龄，收入，学历。每一个属性下面的类别都是有限的，例如职业下面只有自由职业，工人，白领。而年龄这个属性应当是做了离散化处理，包含6类。如