（四）机器学习——监督学习（supervised Learing）——决策树（Decision Tree）

1、机器学习中分类和预测算法的评估：

准确率、

速度、

强壮性（部分数据缺失情况，能否正确判断）、

可规模性（数据量变大，算法性能变化）、

可解释性（特征值和规律，是否能够进行解释）

2、决策树定义：类似于流程图的树结构，每个内部结点表示一个属性上的测试，每个分支代表一个属性输出，每个叶结点代表类或类分布。最顶层：根结点。

3、熵entropy

香农提出“信息熵”：

一条信息的信息量大小和它的不确定性有直接的关系——》信息量的度量等于不确定性的多少

每一个发生的概率 P(X)

变量的不确定性越大，熵也就越大。

4、 决策树归纳算法 ID3

1970-1980 J.Ross. Quinlan 

选择数据判断节点

信息获取量（Information Gain）：Gain(A) = Info(D) - info_A(D)

14个实例，no 5个 yes 9ge

 

年轻人：5个： 3个 no; 2个 yes

5、贪心算法、自上而下

C4.5 gain ration

CART gini index

6、树剪枝叶（避免过拟合 overfitting）

先剪枝

后剪枝

7、优缺点：

优点：直观、便于理解、小规模数据集有效

缺点：处理连续变量不好

类别较多时，错误增加比较快。