11、决策树：原理、学习与特征选择

决策树：原理、学习与特征选择

决策树是一种基础的分类和回归方法，在分类问题中具有重要应用。它具有树状结构，能基于特征对实例进行分类，可看作是一组 if-then 规则或特征与类空间上的条件概率分布。其主要优点是模型可读性强、分类速度快。

1. 决策树模型与学习

1.1 决策树模型

决策树由节点和有向边组成，节点分为内部节点和叶节点。内部节点代表特征或属性，叶节点代表类别。分类从根节点开始，测试实例的一个特征，根据测试结果将实例分配到子节点，每个子节点对应一个特征值，递归测试和分配直到到达叶节点，最后将实例划分到叶节点的类别。

1.2 决策树与 if-then 规则

决策树可看作一组 if-then 规则。从根节点到叶节点的每条路径对应一条规则，路径上内部节点的特征对应规则的条件，叶节点的类别对应规则的结论。这些路径或规则相互排斥且完整，即每个实例只被一条路径或规则覆盖。

1.3 决策树与条件概率分布

决策树表示给定特征条件下类别的条件概率分布。它通过将特征空间划分为不相交的单元或区域，并定义每个单元中类别的概率分布来形成。决策树中的一条路径对应划分中的一个单元，其表示的条件概率分布由每个单元给定条件下类别的条件概率分布组成。在决策树分类中，节点实例被强制分组到条件概率较高的类别。

1.4 决策树学习

决策树学习的目标是根据给定的训练数据集构建决策树模型，以正确分类实例。它本质上是从训练数据集中归纳出一组分类规则。决策树学习通常使用损失函数来表示目标，一般是正则化的最大似然函数，学习策略是最小化损失函数。由于从所有可能的决策树中选择最优决策树是一个