交叉熵、相对熵、决策树（ID3，C4.5）

1.交叉熵

• 是用来衡量在给定的真实分布下，使用非真实分布指定的策略消除系统的不确定性所需要付出努力的大小
• 假定W的概率分布是正确的分类结果(把二分类扩展到多分类，那么这个结果就是第三类）,其他结果是各种模型预测出来的结果。
  
• 已知每一种情况的信息熵

天气【阴、晴、雨、雪】	信息熵
P=[1/4,1/4,1/4,1/4]	H（P）=2
Q=[1/4,1/8,1/2,1/8]	H（Q）=1.75
Z=[1/8,1/16,3/4,1/16]	H（Z）=1.29
W=[0,0,1,0]	H（W）=0

• 给定W的概率分布是正确的分类结果

天气【阴、晴、雨、雪】	交叉熵
P=[1/4,1/4,1/4,1/4]	H（W,P）=2
Q=[1/4,1/8,1/2,1/8]	H（W,Q）=1
Z=[1/8,1/16