机器学习笔记 - 决策树最优划分属性选择

由决策树算法可知, 其关键点在于如何选择最优划分属性, 一般而言, 随着划分过程不断进行, 我们希望形成纯度高的分支节点和叶结点.

信息增益

信息熵可以用来衡量样本集合纯度. 假定 样本集合$D$, 其中第$k$类样本所占比例为$p_k(k=1, 2, ... , \gamma)$, 则D的熵为

$$Ent(D) = -\sum_{k=1}^{\gamma}p_klog_2p_k$$
熵越小, 则样本集合纯度越高, 以信息论的角度看, 也就是信息量越小.

假定离散属性$a$有$V$个可能的取值 { a1,