决策树原理及实现（二）--CART算法及剪枝

本节介绍决策树中使用最多的CART方法以及剪枝，主要参考资料。

在上一节我们将了ID3算法，和ID3算法的改进版C4.5算法。对于C4.5算法，我们也提到了它的不足，特别是不能处理连续数据等。而目前最常见的CART既可以做回归，也可以做分类，在skleran包中的决策树也采用此种方法。

特征选择方法

前面无论是ID3或者C4.5算法，我们都是使用的“熵”这一度量单位来选取特征。但计算熵需要大量的对数运算，有没有其他的特征选取方法呢？答案是肯定的，这里使用了统计学中的基尼系数，其基尼系数代表了模型的不纯度，基尼系数越小，则不纯度越低，特征越好。这和信息增益(比)是相反的。

假设在分类问题中有$K$个类别，第$k$个类别的概率为$p_k$，则基尼系数表示为：

$$Gini(p) =\sum\limits_{k=1}^K\sum\limits_{j\ne k}^Kp_kp_j= \sum\limits_{k=1}^Kp_k(1-p_k) = 1 - \sum\limits_{k=1}^Kp_k^2$$

从直观上，我们可以认为基尼系数是某种属性分类错误的概率度量。

对于给定的样本$D$,假设有$K$个类别, 第$k$个类别的数量为$C_k$,则样本$D$的基尼系数表达式为：

Gini(D)=1−∑k=1