[机器学习]决策树算法的理论基础

     

       这是我在学习机器学习时做的关于决策树算法的笔记，使用的教材是Tom的《机器学习》,关于决策树的理论基础，也发现了有一些不足(或者说仅仅是对我来说的不好理解)。如果是不妥，这应该是决策树算法的发明者Quialan的问题了，而不是Tom。个人认为关于信息熵增益的概念没有必要有的，当信息熵增益最大时也就是期望熵最小，因为信息熵增益=熵-期望熵，因而直接计算期望熵会方便一些，也不必再去计算熵；另外关于熵的理解，Quialan是从对信息编码的长度上去解释的，但如果换个角度把熵解释为获取信息的难易程度，期望熵越小对目标函数c的学习越容易，因此直接运用期望熵是合理的，从程序编码上也是行得通的。