cart回归树备忘录

决策树回顾

（1）决策树进化（ID3，C4.5，Cart）
提问：异同点

（2）决策树节点分裂评估准则

1. 分类：信息增益，信息增益比率，gini系数
2. 回归：MSE

提问：优缺点

（3）剪枝：预剪枝（泛化能力，自上而下，偏差，快），后剪枝（泛化能力，自下而上，慢）

提问：优缺点

Cart树

classifier and regression tree，既可分类任务，又可回归任务，但构建过程仅仅为二叉树

分类树

（1）最优特征选择准则：gini系数（从样本中任意取两样本不属于同一类的概率）
（2）算法流程：返回递归情形+递归分裂

回归树（最小二乘回归树）

最优特征选择准则：MSE（均方差）

1. 在左右子树样本已知情况下，各节点预测值取均值时，左右子树MSE和最小;
2. 那么接下来的问题是 如何选择特征j，以及特征对应的切分点s
   做法：遍历特征以及切分点，计算分裂后左右子树MSE和，取使得MSE最小的特征j和切分点s