【机器学习】决策树算法以及熵、条件熵、信息增益等整理

一、ID3算法（按照信息增益最大为原则）
理解熵、条件熵：
首先有定义是某事件发生的概率小，则该事件的信息量大。
熵定义：如果一件事有k种可的结果，每种结果的概率为
pi , i=1,2,…，k
信息熵的公式为：

联系之前的定义某事件发生的概率小，则该事件的信息量大。
也就是说信息量是描述变量的不确定性的，值越大表示该事件越不确定（也就是概率小嘛），因此，引入其他变量使得这种不确定性降低（也就是条件熵）
条件熵表示在条件X下Y的信息熵，公式为：

信息增益：
信息增益=信息熵-条件熵

算法流程理解：
http://blog.youkuaiyun.com/gumpeng/article/details/51397737
http