决策树简析

决策树的基础知识参照这里面的内容：
http://www.cnblogs.com/leoo2sk/archive/2010/09/19/decision-tree.html
总结：
1、决策树的关键在于分类属性的选择
2、衡量分类属性优劣的判别标准，信息增益
3、a）计算类别信息熵
b）计算不同分类属性的信息熵
c）类别信息熵与分类信息熵之差即为信息增益
d）选择信息增益最大的属性作为分裂标准
e）若已无分类属性可以使用，但是并未达到纯子集的目的，使用多数表决原则
4、关于分类属性的理论推导仍然存在问题
5、决策树中叶子结点即为最终的类别