决策树与决策规则

目前比较有名的决策树算法大概有上百种，其中，最有影响的当属ID3、C4.5、C5.0以及CART和CHAID

ID3、C4.5都是采用贪心算法

CART（Classification and Regression Tree）也称为分类回归树，只能进行二部分叉、后向修剪，分割标准用的是基尼系数

CHAID（Chi-squared Automatic Interaction Detection）也称方卡自动交互检测法。

有两种常用的剪枝方法：先剪枝和后剪枝

CART使用的代价复杂度剪枝算法是后一种后剪枝方法。C4.5使用悲观剪枝方法，类似于代价复杂度方法，用错误率评估对子树剪枝作决定。