决策树和随机森林

决策树

1. 认识决策树
   决策树思想的来源非常朴素，程序设计中条件分支结构就是if -then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法
2. 信息论基础-银行贷款分析
3. 决策树生成
4. 泰坦尼克号乘客生存分析

信息的度量和作用

猜测32中球队的冠军问题，对每只球队未知，每只球队获胜的概率数1/32，采用二分法尽最大可能猜出球队，需要的结果时log2 32=5，香农提出单位为比特，第一次提出计算机数据已比特为单位，在1948年。同时总结以下规律：

当有多少只球队时相加多少次
若获得以下信息

信息熵为：
5>1/6log (2)1/6 + 1/6log(2)1/6 +1/10log(2)1/10+1/32log(2)1/32…
信息熵越大，表示不确定性越大