决策树知识点整理

最新推荐文章于 2025-03-04 16:29:06 发布

原创

最新推荐文章于 2025-03-04 16:29:06 发布 · 1.4k 阅读

3 ·

CC 4.0 BY-SA版权

本文详细介绍了决策树的学习过程，包括特征选择依据——信息熵、信息增益和基尼指数，决策树的生成与剪枝策略，以及如何处理过拟合问题。通过对决策树的深入理解，有助于在实际应用中优化模型性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

                    
                        
                    
                    目的：为了让模型的不确定性降低的越快越好
三个过程：特征选择、决策树的生成、决策树的剪枝 
 （1）特征选择： 
 信息熵：随机变量不确定性的度量 
 H(X)=−∑ni=1pilogpiH(X)=−∑i=1npilogpi 
 信息增益：（ID3算法），得知特征X的信息而使类Y的信息的不确定减少的程度 
 g(D,A)=H(D)−H(D|A)g(D,A)=H(D)−H(D|A) 
 information gain作为划分训练数据集的特征，存在偏向于选择取值较多的特征问题。 
 （对于取值多的属性如连续型数值，这个单独的属性就可以划分所有的样本，使得所有分支下的样本集合都是“纯的”，最极端的情况是每个叶子节点只有一个样本。这样的划分是极为不合理的。） 
 信息增益率：（C4.5算法），在信息增益的基础上除了一项split information,来惩罚值更多的属性。 
 gR(D,A)=g(D,A)HA(D)gR(D,A)=g(D,A)HA(D) 
 GINI指数：（CART算法） 
 Gini

                