决策树算法

决策树算法是一类常用的机器学习算法，在分类问题中，决策树算法通过样本某一维属性的值将样本划分到不同的类别中，决策树算法通常是基于树形结构来进行决策的。在决策树算法中，常常使用三个标准来对数据进行划分进行，它们分别为：信息增益（Information Gain），增益率（Gain Ratio）和基尼系数（Gini Index）

熵（Entropy）：

是度量样本集合纯度的最常用的一种指标，对于包含m个训练样本的数据集D：{（x⁽¹⁾,y⁽¹⁾）,…，（x^(m),y^(m)）}，在数据集D中，第k类样本所站的比例为p_k，则数据集D的信息熵的计算公式如下：

$$Entropy(D) = - \sum_{k=1}^k p_klog_2p_k$$
比如数据集D中有五个人，三个男人两个女人，性别为该数据集分类标准那么，该数据集的信息熵计算如下：
$$Entroy(D) = -(\frac 35log_2\frac 35+\frac 25log_2\frac 25)$$
当把样本按特征A进行划分成两个独立的子数据集D ₁和D ₂，此时整个数据集D的熵为两个独立数据集D ₁和D ₂的熵的加权之和，权重为每个数据集的个数占数据集个数总量的比例:
$$Entropy(D) =\frac {|D_1|}{|D|}Entropy(D_1) +\frac {|D_2|}{|D|}Entropy(D_2)$$

$$= -（\frac {|D_1|}{|D|}\sum_{k=1}^kp_klog_2p_k+\frac {|D_2|}{|D|}\sum_{k=1}^kp_klog_2p_k）$$
其中|D|表示的数据集D中的样本的个数。

1）信息增益（Information Gain）——ID3：

数据集D在特征A进行划分后熵的减小值被成为信息增益，即:

$$igain(D,A)=Entropy（D）-\sum_{p=1}^p \frac {|D_p|}{|D|} Entropy(D_p)$$
其中|D _p|是属于第p类样本的个数，在选择数据集划分的标准时，通常选择能使信息增益最大的特征进行划分

2）增益率（Gain Ratio）——C4.5:

$$gain\_ratio(D,A) = \frac {igain(D,A)}{IV(A)}$$
其中IV（A）被称为特征A的固有值，计算方法如下：
$$IV(A)= - \sum_{p=1}^p \frac {|D_p|}{|D|}log_2 \frac {|D_p|}{|D|}$$

3）基尼系数（Gini Index）——CART:

可以选择最优的划分属性，对于数据集D，假设有K个分类，则样本属于第K个分类的概率为p_k，则此概率的基尼系数为：

$$Gini(p) = \sum_{k=1}^kp_k(1-p_k)=1-\sum_{k=1}^kp_{k^2}$$
对于数据集D：
$$Gini(D) =1-\sum_{k=1}^k\frac {|C_k|}{|D|}$$
|C _k|表示数据集D中属于类别k的样本的个数，若此时根据特征A将数据集D划分成两个完全独立的数据集D ₁和D ₂，此时的基尼系数为：
$$Gini(D,A)=\frac {|D_1|}{|D|}Gini(D_1)+\frac {|D_2|}{|D|}Gini(D_2)$$