7、决策树诱导：离散化与剪枝方法解析

决策树诱导：离散化与剪枝方法解析

1. 决策树诱导中的离散化

1.1 连续属性的离散化

1.1.1 基于熵的切割点选择

在决策树诱导过程中，对于连续属性，需要确定合适的切割点将样本集划分为子集。对于每个可能的切割点 (T) 进行测试，选择满足以下条件的切割点 (T_A)：
[
\min_{T} I(A, T_A; S)
]
其中 (S) 是子样本集，(A) 是属性，(T) 是将样本划分为子集 (S_1) 和 (S_2) 的切割点。(I(A, T_A; S)) 是样本集划分为子集 (S_1) 和 (S_2) 的熵，计算公式如下：
[
I(A, T_A; S) = \frac{|S_1|}{|S|}I(S_1) + \frac{|S_2|}{|S|}I(S_2)
]
其中
[
I(S_i) = - \sum_{j = 1}^{m} p(S_i, C_j) \log_2 p(S_i, C_j)
]
计算切割点通常是一个耗时的过程，因为需要对每个可能的切割点进行选择标准的测试。为了加快计算速度，已有相关算法被提出。

1.1.2 基于类间和类内方差的离散化

还可以通过无监督离散化来找到阈值。将该问题视为一维空间中的聚类问题，使用两个子集 (S_1) 和 (S_2) 的类间方差 (s_B^2) 与类内方差 (s_w^2) 的比值作为寻找阈值的标准：
[
s_B^2 = P_0(m_0 - m)^2 + P_1(m_1 - m)^2
]
[
s_w^2 = P_0 s_0^2