树模型知识点(1)——决策树

1、决策树的原理
决策树是一种树结构，从根节点出发，每个分支都将训练数据划分成了互不相交的子集。分支的划分可以以单个特征为依据，也可以以特征的线性组合为依据。决策树可以解决回归和分类问题，在预测过程中，一个测试数据会依据已经训练好的决策树到达某一叶子节点，该叶子节点即为回归或分类问题的预测结果。
从概率论的角度理解，决策树是定义在特征空间和类空间上的条件概率分布。每个父节点可以看作子树的先验分布，子树则为父节点在当前特征划分下的后验分布。

2、信息增益和信息熵的理解
待补充

3、决策树出现过拟合的原因及解决办法

原因：

• 在决策树构建的过程中，对决策树的生长没有进行合理的限制（剪枝）；
• 样本中有一些噪声数据，没有对噪声数据进行有效的剔除；

解决办法：

• 选择合理的参数进行剪枝，可以分为预剪枝和后减枝，我们一般采用后剪枝的方法；
• 利用 K-folds交叉验证，一共训练出k棵树，用k棵树输出的均值作为测试集的预测值。
• 减少特征

4、如何对决策树进行剪枝？
剪枝是防止决策树过拟合的方法。一棵完全生长的决策树很可能失去泛化能力，因此需要剪枝。
剪枝分为预剪枝和后剪枝两种，预剪枝是在构建决策树时抑制它的生长，后剪枝是决策树生长完全后再对叶子节点进行修剪。

<