西瓜书复习：决策树

最新推荐文章于 2025-06-09 22:10:04 发布

一直在做梦

最新推荐文章于 2025-06-09 22:10:04 发布

阅读量746

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/qq_37429357/article/details/89526014

本文深入探讨了决策树的学习过程，包括信息熵、信息增益、增益率和基尼系数等概念，阐述了C4.5和CART决策树算法的选择策略。还介绍了连续值处理、缺失值处理以及多变量决策树，揭示了决策树模型的构建与优化方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一棵决策树包含一个根结点，若干个内部结点和若干个叶结点。叶结点对应于决策结果，其他每个结点则对应于一个属性测试。
每个结点包含的样本集合根据属性测试的节点被划分到子结点中。根结点包含样本全集，从根结点到每个叶结点的路径对应了一个判定测试序列。决策树学习的目的是为了产生一棵泛化能力强的决策树，其基本流程遵循简单的分治策略。
在这里插入图片描述
决策树的生成是一个递归的过程，三种情况会导致递归返回
1.当前结点包含的样本全属于同一类别，无需划分；
2.当前属性集为空，或者所有样本在所有属性上取值相同，无法划分；
3.当前结点包含的样本集合为空，不能划分

情况2我们把当前结点标记为叶节点，并将其设定为该结点所含样本最多的类别；情况3同样把当前结点标记为叶节点，但将其类别设定为其父节点所含样本最多的类别。
情况2是利用当前结点的后验分布，情况3则是把父节点的样本分布作为当前结点的先验分布。

决策树的关键是如何选择最优划分属性。随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别。
信息熵是度量样本集合纯度最常用的一种指标。假定当前样本集合D中第k类样本所占的比例为pk，D的信息熵定义为
在这里插入图片描述
当D中样本均匀分布时，信息熵最大；D中只有一类样本，信息熵最小。