24、决策树分类与预测：原理、方法及应用

决策树分类与预测：原理、方法及应用

1. 分类树规则

分类树能够提供易于理解的分类规则，每个终端节点都相当于一条分类规则。例如，在最佳剪枝树中，最右侧的终端节点给出规则：

IF (Income ≥114) AND (Education ≥1.5)
THEN Class = 1.

并且，很多情况下可以通过去除冗余来减少规则数量。比如规则：

IF (Income < 114) AND (CCAvg ≥3) AND (CD.Account < 0.5) AND (Income < 92)
THEN Class = 0

可简化为：

IF (Income < 92) AND (CCAvg ≥3) AND (CD.Account < 0.5)
THEN Class = 0

这种过程的透明性和算法的可理解性在很多场景中非常有利。例如在健康保险承保中，保险公司可通过展示导致拒绝承保的规则（如收入低于 2 万美元且信用记录不佳）来避免歧视诉讼。与其他分类器的输出相比，基于树的分类规则更易于向管理人员和操作人员解释。

2. 多类别分类树

分类树可用于具有多个类别的结果变量。在衡量不纯度方面，之前介绍的基尼不纯度指数和熵度量是为 m 个类别定义的，因此可用于任意数量的类别。树的结构相同，只是终端节