决策树中的ID3, C4.5, CART算法及其优缺点

前一篇文章说了决策树算法的一些基本内容，包括它的分类和如何构造决策树。这篇文章我们继续深入如何构造决策树

如何构造决策树

建树需要解决以下三个问题：

1. 选择什么特征分裂
2. 如何选择特征分裂的属性值（具体判断条件）
3. 什么时候停止分裂

以下是损失函数关键的公式
熵：
$$entropy(D)=-\sum _{i=1}^n{P}_{i}lo{g}_2{P}_i$$
条件熵（加特征分裂后的情况）：
$$entropy(D,A)=\sum _{i=1}^k\frac{D_{A_i}}{D}lo{g}_2$$