Cart决策树算法原理学习

一、分类树

1.1特征选择（基尼指数）

在构建cart决策树的时候，是通过选择基尼系数来评价特征的重要性，选择基尼指数最小的来作为划分依据。
基尼指数最早是应用在经济学当中，主要用来衡量收入分配公平度的指标，cart决策树中用它来衡量数据的不纯度或者不确定性。
公式如下：
$$Gini(D)=1-\sum {p_i}^2$$
在分类问题中，样本点属于第i类的概率为pi
基尼指数越小，说明数据很纯。
Gini(D,a)=∑v∣Dv∣∣D∣Gini(Dv)Gini(D,a)=\sum_{v} \frac{|D_v|}{|D|}Gini(D_v)Gini(D,a)=