14、决策树：从构建到优化

决策树：从构建到优化

1. 决策树基础

决策树是一种强大的分类工具，它通过依次测试属性值来做出决策。每一次测试的结果决定了下一步的操作，可能是进行另一个属性测试，或者在到达叶子节点时确定类别标签。可以说，决策树由一组部分有序的测试组成，每个测试序列定义了树中的一个分支，并以叶子节点结束。

从一个典型的训练集可以创建许多不同的决策树。通常，较小的树更受青睐，因为它们具有更好的可解释性，能够去除无关和冗余的属性，并且降低了对有噪声训练数据过拟合的风险。

2. 决策树的剪枝

2.1 剪枝的动机

剪枝是决策树归纳中的一个重要步骤，其主要目的是确保树的所有分支都有足够的证据支持，同时减小树的规模，带来如可解释性增强等优势。

2.2 剪枝的类型

• 后剪枝 ：先完全构建决策树，然后进行剪枝。其本质是用一个叶子节点替换子树，叶子节点的标签为到达该子树的训练示例中最常见的类别。具体操作步骤如下：
  1. 估计原始决策树的错误率，记为 (E_{before})。
  2. 估计通过各种剪枝方式得到的树的错误率。
  3. 选择剪枝后错误率增加最小的剪枝方式，即 (D_{min}=E_{after}-E_{before})，但仅当 (D_{min}<c) 时进行剪枝，其中 (c) 是用户设置的常数，表示为了树的紧凑性可以容忍的性能下降阈值。
  4. 重复步骤 2 和 3，直到 (E_{after}-E_{before}\geq c)。
<