认识决策树之分类树（ID3、C4.5、CART）

树模型的思想主要是每次选择具有分类能力强的特征作为树分裂的节点，重复该步骤直到在某一节点上的数据都属于同一类别时停止。由于在选择分类能力强的特征时，有不同的选择标准，因此出现了不同种树的模型。

ID3

在ID3算法中，通过信息增益来衡量特征的分类能力。在介绍熵之前首先介绍下自信息。相对于用概率表示该事件发生确定性的度量，自信息是该事件发生不确定性的度量，或者表示为该事件发生所携带信息量的大小。信息量越大，该事件发生的不确定性也就越大。用公式表示为：
$$I(x_i)=-log{p}_i$$
其中事件$x_i$发生的概率$p_i$，$I(x_i)$表示事件$x_i$发生的自信息。其函数图像为：

横坐标为事件发生的概率，纵坐标为该事件的自信息。可以看出随着概率越大，该事件所包含的信息量就越少，该事件发生的不确定性也就越小。

熵是自信息的期望，其公式为：
$$H(X)=-\sum _{i=1}^n{p}_{i}log{p}_i$$
举例来说，假设一个信号源发射信号，其发射信号1的概率为$p_1=\frac{1}{2}$