机器学习笔记 - 决策树最优划分属性选择

由决策树算法可知, 其关键点在于如何选择最优划分属性, 一般而言, 随着划分过程不断进行, 我们希望形成纯度高的分支节点和叶结点.

信息增益

信息熵可以用来衡量样本集合纯度. 假定 样本集合$D$, 其中第$k$类样本所占比例为$p_k(k=1, 2, ... , \gamma)$, 则D的熵为

$$Ent(D) = -\sum_{k=1}^{\gamma}p_klog_2p_k$$
熵越小, 则样本集合纯度越高, 以信息论的角度看, 也就是信息量越小.

假定离散属性$a$有$V$个可能的取值 $\{a^1, a^2, ... , a^v\}$, 使用$a$来对样本集合$D$进行划分, 产生$V$个分支节点. 其中第$v$个分支节点包含$D$中所有取值为$a^v$的样本, 记为$D^v$. 我们可以根据上面的公式计算$D^v$的信息熵, 于是可以计算用属性$a$划分的信息增益, 计算方法为:

$$Gain(D, a) = Ent(D) - \sum_{v=1}^{V}\frac{|D^v|}{|D|}Ent(D^v)$$
信息增益越大, 也就是使用属性 $a$划分所获得纯度提升越大, 因此我们可以用信息增益来决定决策树的划分属性. 这就是著名的ID3决策树学习算法(Iterative Dichotomiser 3).

增益率

使用信息增益进行决策树划分， 会偏好可取值数目多的属性， 可能导致决策树泛化能力弱， 为了解决这个问题， 引入了增益率, 其定义如下:

$$Gain\_ratio(D, a) = \frac{Gain(D,a)}{IV(a)}$$

$$IV(a) = - \sum_{v=1}^{V}\frac{|D^v|}{|D|}log_2\frac{|D^v|}{|D|}$$
这就是C4.5决策树学习算法.

基尼指数

数据集的纯度也可以用基尼指数来度量:

$$Gini(D) = \sum_{k=1}^{\gamma} \sum_{r!=k}p_kp_r = 1 - \sum_{k=1}^{\gamma}p_k^2$$
则属性 $a$划分后的基尼指数为
$$Gini\_index(D,a) = \sum_{v=1}^{V}Gini(D^v)$$
最优划分属性 $a=argmin(Gini\_index(D,a)), a \in A$
这就是CART决策树算法

这里是一个简单的实现:
https://github.com/volvet/MLInAction/tree/master/DecisionTrees

Reference

1. 机器学习 - 周志华 清华大学出版社
2. Machine Learning in Action - Peter Harington