决策树（二）——决策树的剪枝（预剪枝和后剪枝）

什么是决策树的剪枝？

对比日常生活中，环卫工人在大街上给生长茂密的树进行枝叶的修剪。在机器学习的决策树算法中，有对应的剪枝算法。将比较复杂的决策树，化简为较为简单的版本，并且不损失算法的性能。

为什么要剪枝？

剪枝是决策树算法防止过拟合的一种手段，因为在学习过程中，决策树根据训练样本进行拟合，生成了针对于训练数据集精确性极高的模型。但是训练数据集，不可避免是一种有偏的数据。
所以我们为了提高决策树的泛化性能，采取了剪枝的策略。使得决策树不那么对于训练数据精确分类，从而适应任何数据。

剪枝策略的分类

剪枝算法可以分为：预剪枝和后剪枝

预剪枝

预剪枝就是在决策树生成过程中，在每次划分时，考虑是否能够带来决策树性能的提升。

1. 如果可以提升决策树的性能则会进行划分。
2. 如果不能则会停止生长。

一般的方法有如下几种：

1. 当树的深度达到一定的规模，则停止生长。
2. 达到当前节点的样本数量小于某个阈值的时候。
3. 计算每次分裂对测试集的准确性提升，当小于某个阈值，或不再提升甚至有所下降时，停止生长。
4. 当信息增益，增益率和基尼指数增益小于某个阈值的时候不在生长。

优缺点

优点：思想简单，算法高效，采用了贪心的思想，适合大规模问题。
缺点：提前停止生长，有可能存