10、决策树算法：从构建到实现

决策树算法：从构建到实现

1. 决策树分类与构建概述

决策树构建完成后，对新样本进行分类十分直接。从根节点开始，应用测试条件并沿着相应分支前进，直至到达叶节点，该叶节点关联的类别标签就会被分配给新样本。

那么，如何构建合适的决策树呢？决策树是通过将训练样本划分为连续子集来构建的。这个划分过程会在每个子集上以递归方式重复进行。在每个节点进行划分时，会基于子集的某个特征值进行条件测试。当子集具有相同的类别标签，或者进一步划分无法提高该子集的类别纯度时，该节点的递归划分就会结束。

理论上，对于具有 $n$ 个不同值的特征（数值或分类），有 $n$ 种不同的二元划分方法（条件测试为“是”或“否”），更不用说其他划分方式（如三元和四元划分）。对于一个 $m$ 维数据集，不考虑划分特征的顺序，就已经有 $n^m$ 种可能的树。

2. 常见决策树构建算法

许多算法已被开发出来以高效构建准确的决策树，常见的有：
- Iterative Dichotomiser 3 (ID3) ：该算法采用自上而下的贪心搜索方式，每次迭代选择最佳属性来划分数据集，且不进行回溯。
- C4.5 ：是 ID3 的改进版本，引入了回溯机制。它会遍历已构建的树，如果这样能提高纯度，就用叶节点替换分支。
- Classification and Regression Tree (CART) ：使用二元划分构建树，后续会详细讨论。
- Chi - squared Automatic Interaction Det