决策树预剪枝（3）

1.预剪枝的目的：提升决策树的泛化性能

 

2.预剪枝的做法：

将数据划分为训练集和验证集

在划分每个节点之前进行评估，若当前节点的划分不能提升泛化性能，则停止划分，并将其标记为叶节点；

                   若当前节点的划分能够提升泛化性能（从信息增益 or 其他方式 选择最优属性），则继续划分；

 

3.如何判断泛化性能是否提升：

用留出法（机器学习-性能评估方法，2.2）划分验证集|训练集 进行验证：

当前节点不划分：计算当前验证集精度

当前节点划分   ：计算划分后验证集精度

若 划分前>=划分后，则选择不划分。