统计学习方法第五章：决策树(decision tree),CART算法，剪枝及python实现

统计学习方法第二章：感知机(perceptron)算法及python实现
统计学习方法第三章：k近邻法(k-NN),kd树及python实现
统计学习方法第四章：朴素贝叶斯法(naive Bayes)，贝叶斯估计及python实现
统计学习方法第五章：决策树(decision tree),CART算法，剪枝及python实现
统计学习方法第五章：决策树(decision tree),ID3算法，C4.5算法及python实现

完整代码：
https://github.com/xjwhhh/LearningML/tree/master/StatisticalLearningMethod
欢迎follow和star

决策树(decision tree)是一种基本的分类与回归方法。决策树模型呈树状结构，在分类问题中，表示基于特征对实例进行分类的过程。

它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。

其主要优点是模型具有可读性，分类速度快。

学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。

决策树学习通常包括3个步骤：特征选择，决策树的生成和决策树的修剪

主要的决策树算法包括ID3,C4.5,CART。我主要实现的是CART算法，其余两个算法也有所实现，但正确率不高，先不予分享，以免误人子弟。

以下是CART生成算法:

以下是CART剪枝算法：

每次剪枝剪的是某个内部结点的子结点，也就是将某个内部结点的所有子结点回退到这个内部结点里，并将这个内部结点作为叶子结点。因此在计算损失函数时，这个内部结点之外的值都没变，所以我们只需计算内部结点剪枝前和剪枝后的损失函数

问题1：为什么剪去g(t)最小的T？
个人认为是为了获得更多的区间和子树，便于比较

问题2：为什么不直接减去C(t)+ α \alpha <