10、决策树：原理、构建与应用

决策树：原理、构建与应用

1. 决策树简介

决策树是一种实现分治策略的分层数据结构，是一种高效的非参数方法，可用于分类和回归任务。在参数估计中，我们会在整个输入空间定义一个模型，并从所有训练数据中学习其参数，然后对任何测试输入使用相同的模型和参数集。而非参数估计则是将输入空间划分为局部区域，通过距离度量（如欧几里得范数）来定义这些区域，对于每个输入，使用该区域内训练数据计算得到的局部模型。

决策树作为一种监督学习的分层模型，通过一系列递归分割，能在较少步骤内确定局部区域。它由内部决策节点和终端叶子节点组成。每个决策节点 $m$ 实现一个测试函数 $f_m(x)$，其离散结果标记着分支。给定一个输入，在每个节点应用测试，根据结果选择一个分支，从根节点开始递归执行，直到到达叶子节点，此时叶子节点中的值即为输出。

决策树也是一种非参数模型，因为我们不假设类密度的任何参数形式，并且树的结构不是预先固定的，而是在学习过程中根据数据中问题的复杂性进行生长、分支和添加叶子节点。每个 $f_m(x)$ 在 $d$ 维输入空间中定义一个判别式，将其划分为更小的区域，随着从根节点向下的路径，这些区域会进一步细分。不同的决策树方法对 $f_m(·)$ 假设不同的模型，模型类定义了判别式的形状和区域的形状。每个叶子节点都有一个输出标签，在分类中是类代码，在回归中是一个数值。

决策树的分层决策结构允许快速定位覆盖输入的区域。例如，如果决策是二进制的，在最佳情况下，每个决策可以消除一半的情况。如果有 $b$ 个区域，在最佳情况下，通过 $\log_2 b$ 次决策就能找到正确的区域。此外，决策树的另一个优点是可解释性，它可以转换为一组易于理解的 IF - THEN 规则。

<