11、决策树模型的优化与参数调整

决策树模型的优化与参数调整

1. 决策树基础操作与初步评估

开始构建决策树模型时，可将区间输入变量分入固定宽度的区间，然后运行决策树节点。完成后，打开决策树节点的结果，点击评估选项卡，在拟合统计表格中查看使用平均平方误差衡量的模型性能（可能需要展开拟合统计表格）。例如，经过调优的决策树模型在验证分区上的平均平方误差为 0.0650，相较于使用默认设置的第一个模型，该拟合统计量略有改善（数值更小），最后关闭结果窗口。

2. 改进决策树模型：递归分区参数调整

2.1 递归分区概述

递归分区是拟合决策树的标准方法，它是一种自上而下的贪心算法，在每一步都做出局部最优选择。从根节点开始，会检查涉及单个输入的多个分割。对于区间输入，分割是输入值的不相交范围；对于名义输入，分割是输入类别的不相交子集。通过各种分割搜索策略确定候选分割集，并使用分割准则选择分割，目标是减少子节点中目标分布的变异性，从而提高纯度。

2.2 常用的分割技术

• 基尼不纯度（Gini Impurity） ：由意大利统计学家 Corrado Gini 在 1912 年提出，用于衡量分类数据的变异性，即节点中的不纯度。公式为：$Gini = 1 - \sum_{i=1}^{J} p_{i}^{2}$，其中 $J$ 是节点中存在的类别数，$p$ 是节点中类别的分布。实际应用中，会评估连续变量的不同阈值和分类变量的所有水平的不同分割，然后选择使子节点加权不纯度最低的分割。
• 熵（Entropy） ：用于衡量系统的随机性。公式为：$Entropy =