DataWhale基础算法第三次作业---决策树

目录

 

决策树理论：

1.信息论基础

（1）信息熵

（2）联合熵

（3）条件熵

（4）信息增益

（5）基尼指数/基尼不纯度

2：决策树的不同分类算法

（1）ID3算法

（2）C4.5

（3）CART分类树

3.回归树的原理

4.决策树防止过拟合的手段

剪枝处理

---

决策树理论：

 

1.信息论基础

（1）信息熵

原本是物理学的定义，后来香农将其引用到信息论领域，用于表示信息量的大小。信息量越大，对应的熵值越大。怎么样才能是信息量比较大呢？越是不确定的事件，包含的信息量也就越大，确定发生的，没什么悬念，包含的信息量就很少了。

（2）联合熵

一维随机变量分布推广到多维随机变量分布。

（3）条件熵

H(Y|X) 表示在已知随机变量 X 的条件下随机变量 Y 的不确定性。条件熵 H(Y|X) 定义为 X 给定条件下 Y 的条件概率分布的熵对 X 的数学期望。

（4）信息增益

（5）基尼指数/基尼不纯度

2：决策树的不同分类算法

（1）ID3算法

采用信息增益划分数据。计算使用所有特征划分数据集，得到多个特征划分数据集的信息增益，从这些信息增益中选择最大的，因而当前结点的划分特征便是使信息增益最大的划分所使用的特征。

不足：信息增益偏向取值较多的特征。

（2）C4.5

采用信息增益比划分数据，弥补ID3的不足

不足：只能进行分类

（3）CART分类树

采用基尼系数划分数据，可针对离散和连续型，可以做分类和回归。

3.回归树的原理

4.决策树防止过拟合的手段

剪枝处理

预剪枝：是在决策树的生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分即结束树的构建并将当前节点标记为叶结点。
后剪枝：是先从训练集生成一棵完整的决策树，然后自底向上地对叶结点进行考察，若将该结点对应的子树替换为叶结点能带来决策树泛化为性能提升，则将该子树替换为叶结点。泛化性能的提升可以使用交叉验证数据来检查修剪的效果，通过使用交叉验证数据，测试扩展节点是否会带来改进。如果显示会带来改进，那么我们可以继续扩展该节点。但是，如果精度降低，则不应该扩展，节点应该转换为叶节点。