解决决策树的过拟合

1. 避免过拟合问题

表1描述的算法增长树的每一个分支的深度，直到恰好能对训练样例完美地分类。然而这个策略并非总是行得通的，事实上，当数据中有噪声，或训练样例的数量太少以至于不能产生目标函数的有代表性的采样时，这个策略便会遇到困难。在以上任一种情况发生时，这个简单的算法产生的树会过度拟合训练样例。

表1 专用于学习布尔函数的ID3算法概要

ID3是一种自顶向下增长树的贪婪算法，在每个结点选取能最好地分类样例的属性。继续这个过程直到这棵树能完美分类训练样例，或所有的属性都使用过了。

对于一个假设，当存在其他的假设对训练样例的拟合比它差，但事实上在实例的整个分布（也就是包含训练集合以外的实例）上表现的却更好时，我们说这个假设过度拟合（overfit）训练样例。

定义： 给定一个假设空间H，一个假设h∈H，如果存在其他的假设h´∈H，使得在训练样例上h的错误率比h´小，但在整个实例分布上h´的错误率比h小，那么就说假设h过度拟合（overfit）训练数据。

图1-1画出了在决策树学习的一个典型应用中过度拟合的影响。在这个例子中，ID3算法用来学习哪一个病人患有某种糖尿病。这幅图的横轴表示在决策树创建过程中树的结点总数，纵轴表示决策树作出的预测的精度。实线显示决策树在训练样例上的精度，虚线显示在一套独立的测试样例（没有被包括在训练样例中）上测量出的精度。可以看出，随着树的增长，在训练样例上的精度是单调上升的。然而，在独立的测试样例上测出的精度先上升后下降。如图所示，当树超过大约25个结点时，对树进一步精细化尽管可以提高它在训练数据上的精度，却降低了它在测试样例上的精度。

图1-1 决策树学习中的过度拟合。