第三章 决策树

3.1 决策树的构造

优点：计算复杂度不高 ，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。

缺点：可能会产生过度匹配问题。

适用数据类型：数值型和标称型。

在构造决策树时，我们需要解决的第一个问题是，当前数据集上哪个特征在划分数据分类时起决定性作用。为了找到决定性的特征，划分出最好的结果，我们必须评估每个特征。完成测试之后，原始数据集就被划分为几个数据子集。这些数据子集会分布在第一个决策点的所有分支上。

采用量化的方法判断如何划分数据。

3.1.1 信息增益

划分数据集的大原则是：将无序的数据变得更加有序。在划分数据之前之后信息发生的变化称为信息增益，

3.1.2 划分数据集

信息熵度量了数据的无序程度，此外，还需要划分数据集，度量划分数据集的熵，以便判断当前是否正确地划分了数据集。

3.1.3 递归构建决策树

得到原始数据集，然后基于最好的属性值划分数据集，由于特征值可能多于两个，因此可能存在大于两个分支的数据集划分。第一次划分之后，数据将被向下传递到树分支的下一个节点，在这个节点上，我们可以再次划分数据。因此我们可以采用递归的原则处理数据集。

递归结束的条件是：程序遍历完所有划分数据集的属性，或者每个分支下的所有实例都具有相同的分类。如果所有实例具有相同的分类，则得到一个叶子节点或者终止块。

本次使用的算法称为ID3