12、决策树：生成、剪枝与算法详解

决策树：生成、剪枝与算法详解

1. 信息增益与特征选择

在构建决策树时，特征的选择至关重要。信息增益是一种常用的特征选择标准，通过计算不同特征的信息增益，可以确定哪个特征能为分类提供最大的信息。

1.1 信息增益计算示例

假设我们有一个训练数据集 $D$，有特征 $A_2$、$A_3$ 和 $A_4$。以下是它们信息增益的计算过程：
- 特征 $A_2$ 的信息增益 ：
[
\begin{align }
g(D, A_2) &= H(D) - \left[\frac{5}{15}H(D_1) + \frac{10}{15}H(D_2)\right]\
&= 0.971 - \left[\frac{5}{15} \times 0 + \frac{10}{15} \left(-\frac{4}{10} \log_2 \frac{4}{10} - \frac{6}{10} \log_2 \frac{6}{10}\right)\right]\
&= 0.324
\end{align }
]
- 特征 $A_3$ 的信息增益 ：
[
\begin{align }
g(D, A_3) &= 0.971 - \left[\frac{6}{15} \times 0 + \frac{9}{15} \left(-\frac{3}{9} \log_2 \frac{3}{9} - \frac{6}{9} \log_2 \frac{6}{9}\r