AndrewGSD的博客

CART算法是决策树的一种方法之一，其同样有如下流程：决策树的特征的选择，决策树的生成，决策树的剪枝。决策树的生成可以看成是一种局部最优，而决策树剪枝是全局最优的求解。其中决策树的剪枝也是用熵的模型，不过用的是经验熵，但是搞懂了熵就差不多懂决策树剪枝，里面根据节点的熵的大小进行比较。熵比较下的叶子节点会被剪去，也就是树的回缩，减少模型的复杂度，防止过度拟合。理想的决策树有三种： (1)叶子结点数最少； (2)叶子结点深度最小； (3)叶子结点数最少且叶子结点深度最小。然而， 洪家荣等人已经证明了要..

自己学习总结决策树的生成过程主要利用信息增益或者信息增益比进行特征选择，然后依次进行节点的选择，直到全部的叶子节点全部分配完成。本文将介绍常见的决策树生成算法：ID3算法C4.5算法。其实ID3算法和C4.5算法原理都很简单。只要懂得怎么利用信息增益或者信息增益比进行特征选择，那么ID3算法和C4.5算法就会很轻松。ID3算法主要是在每一个子集中利用信息增益进行特征选择，然后在进行节点的类划分；C4.5算法主要是把ID3算法中的信息增益换成信息增益比，因为利用信息增益有一个问题，那就是某一个类