【机器学习课程-华盛顿大学】：3 分类 3.3 决策树decision tree

 

1、决策树

怎么发现最优的树？

 

2、贪婪法

（1）先建一棵空树

（2）选择一个特征分割数据：

        对分割的每一个分支：

        （3）如果没有其他的可做，预测

        （4）否则，进行步骤（2），继续迭代分割

 

 

3、如何确定最优分割特征？

选择分类误差最小的特征作为此次分割特征：

 

4、树分割停止条件

（1）节点的所有数据有相同的y值

（2）所有的特征有已经用来分割了

 

5、多类分类

 

6、真值特征的处理

选择分类误差最小的阈值作为阈值：

 

7、决策树和逻辑回归对比

 

8、测试