决策树之剪枝算法手动计算+R语言简单实现——（二）

最新推荐文章于 2025-06-09 14:50:32 发布
最新推荐文章于 2025-06-09 14:50:32 发布
阅读量5.7k 收藏 20
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据 R data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ddxygq/article/details/86550663
本文介绍了决策树的修剪方法，包括事前修剪和事后修剪，重点讲解了事后修剪的成本复杂度策略。通过R语言展示了如何实现决策树的构建和修剪，以及如何提取决策树规则，总结了不同决策树算法的适用数据类型。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

决策树的修剪

决策树规则提取

决策树算法小结

R语言小例子

在上一篇我们介绍了，决策树的数据准备与决策树的生长，也用一个小例子手动计算了决策树的生长分支过程。常用的分支准则方法有三种：信息增益、信息增益率、基尼系数。其实，这里问题就来了，决策树是可以不加限制的生长到有可能到很深的吗？当然是不行的，这就是这一节需要介绍的主要内容之一决策树的修剪，当然还会对决策树算法规律稍微总结一下，并用几个小例子说明R语言的具体实现。

决策树的修剪

单单根据决策树算法完成树的建立后，各个叶节点代表不同的种类，部分叶节点可能只包含少数样本，有可能还是一些异常数据，没有足够的支持度，增加了树的深度，过度适配也会导致分类错误率的增加。这就需要修剪决策树，原理是：从树的底部开始，检查每个节点和该节点的子决策树，看是否能将该子决策树去掉而该节点就自然成为了叶节点代替原来的子决策树，生成一个分类错误率更低、树的深度更低的决策树。

决策树的修剪分为

  • 事前修剪
了解本专栏 订阅专栏 解锁全文
R语言：决策树算法的实现
PixelLoom的博客
08-19 483
信息增益是指在特征给定的情况下，目标变量不确定性的减少程度。在本文中，我们将使用R语言实现决策树的三个常见算法：ID3、C4.5和CART。C4.5算法是ID3算法的改进版本，它在特征选择时使用了信息增益比。信息增益比考虑了特征的分支数目对信息增益的影响，从而更好地处理具有多个分支的特征。假设我们有一个分类问题的数据集，其中包含两个特征（age和income），以及一个目标变量（label）。C4.5算法与ID3算法的主要区别在于特征选择的方法，因此我们只需要修改ID3算法中计算信息增益的部分。
R语言-决策树算法（C4.5和CART）的实现
Hz_ZDeveloper的博客
04-27 1万+
决策树算法的实现： 一、C4.5算法的实现 a、需要的包：sampling、party library(sampling) library(party) sampling用于实现数据分层随机抽样，构造训练集和测试集。 party用于实现决策树算法 另外，还可以设置随机数种子，可以获得相同的随机数。方便数据重复检验。 #设置随机数种子，可以获得相同的随机数 set.seed(1
R语言实现决策树算法
Hs_cherry的博客
06-17 5787
决策树算法简介 R语言实现 决策树算法决策树算法是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。 决策树
R语言机器学习篇——决策树
m0_73275932的博客
02-05 8678
决策树"算法是一种非参数方法，它本质上也是一种“近邻”方法，因此本章分别介绍运用于回归问题以及分类问题的决策树算法。
从scikit-learn决策树中提取决策规则的方法
最新发布
qq_29715355的博客
06-09 424
else:# 加载数据集# 训练决策树模型# 提取规则paths = []path = []p1 += [f"(name } > {
R语言生成决策树
02-17
使用R语言进行聚类分析。生成决策树，并进行修剪。 里面含有源数据和代码
R语言决策树算法
jmydream的专栏
03-07 8530
1,生成树：rpart()函数raprt(formular,data,weight,subset,na.action=na.rpart,method,model=FALSE,x=FALSE,y=TRUE,parms,control,cost,...)         fomula ：模型格式形如outcome~predictor1+predictor2+predictor3+ect。
决策树的R语言实现
11-17
数据挖掘方法中的决策树方法，在R语言上如何实现，
【Python机器学习】树回归——树剪枝
weixin_39407597的博客
08-12 1026
通过降低决策树的复杂度来避免过拟合的过程称为剪枝。提过提前终止条件，实际上就是在进行一种所谓的预剪枝；另一种形式的剪枝需要使用测试集和训练集，称作后剪枝。
机器学习算法——手动搭建决策树分类器(代码+作图)
Shiyang的博客
05-15 2372
决策树分类器实战决策树分类器原理分类器实现使用鸢尾花数据集检验 决策树分类器原理 分类器实现 使用鸢尾花数据集检验
分类问题常用算法之决策树、随机森林及python实现
LIsaWinLee的博客
06-24 2546
关于决策树和随即森林的知识
Python实战开发及案例分析（9）—— 决策树
贾贾的博客
05-06 3514
决策树是一种用于分类和回归的机器学习模型。它通过学习一系列的决策规则将数据分成不同的类别或预测数值。决策树在构建时依赖于属性选择度量，如信息增益、基尼系数等。
C++现实分类回归树算法(机器学习, 决策树)
06-15
C++实现机器学习决策树算法CART(Classification And Regression Trees, 即分类回归树).同样实现了剪枝算法用于解决决策树会产生过拟合的情况.代码干净,整洁,有注释可直接使用.
R语言实现决策树算法（附完整源码）
希望我的博客，能帮上你解决学习中工作中所遇到的问题
05-20 934
R语言实现决策树算法（附完整源码）
R语言决策树（ID3、CART、C4.5、C5.0）算法使用举例
Zheng.C.F的博客
09-17 8851
1、环境及数据准备 #环境变量 rm(list = ls());#清空变量空间 #载入所需R Rackages library(rattle) library(rpart) library(rpart.plot) library(RWeka) library(party) library(partykit) library(C50) library(export) #-----------...
R分类算法-决策树算法
Erin的博客
07-24 922
决策树（Decision Tree） 它通过对训练样本的学习，并建立分类规则，然后依据分类规则，对新样本数据进行分类预测，属于有监督学习。 优点： 决策树有易于理解和实现； 决策树可处理数值型和非数值型数据；决策树在party包里 install.packages(“party”) ctree(formula,data) formula 建模表达式 data 训练数据
R语言决策树（1）
2301_78852561的博客
03-31 1488
数据集heart_learning.csv与heart_test.csv是关于心脏病的数据集，heart_learning.csv是训练数据集，heart_test.csv是测试数据集。循环的思想是用建立的决策树fit.tree中子树矩阵每个子树对应的复杂度参数CP去修剪决策树，得到每个修剪后的子树，用这些修剪后的子树去验证分层随机抽样后的数据集valid，得到了预测概率和分类结果，与实际真值进行比对，得到了预测准确率，数据框results有两列，一列是每个子树的CP值，一个是验证准确率。
R语言——决策树模型
热门推荐
RH_Wang的博客
08-15 3万+
        决策树（Tree Nodels）是一种创建树状模型的方法，它使用‘基尼不纯度’（Gini Impurity）或信息增益（Information Gain）等标准对节点进行递归分割，以创建树状模型。决策树看起来像是以树状形式排列的一系列的if-else语句，易于理解，执行速度快。并且，它能够很好地表现多个特征之间的相互作用，适用于多种数据类型。（树状模型中，随机森林性能表现卓越） ...
r语言决策树c4.5算法,决策树算法汇总
weixin_35999626的博客
05-23 879
决策树是一种预测模型，它代表的是对象属性和对象值的一种映射关系。常用的决策树算法有ID3、C4.5、CART、随即森林。涉及到的主要两个内容是属性分裂的度量标准及树剪枝两个问题。属性分裂的度量标准：​信息增益、信息增益率、GINI不纯度1)信息​增益的度量标准：熵​​​为了精确地定义信息增益，我们先定义信息论中广泛使用的一个度量标准，称为熵(entropy)，它刻画了任意样例集的纯度(purity...
决策树算法中C4.5,ID3,基尼
03-22
### C4.5与ID3决策树算法的区别 #### 属性选择标准 ID3算法采用信息增益作为属性选择的标准，而C4.5则通过信息增益率来进行属性的选择。这种修改使得C4.5能够更好地处理具有大量取值的离散属性的情况[^1]。 #### 处理连续属性的能力 ID3仅能处理离散属性的数据集，在面对连续型变量时显得无能为力。相比之下，C4.5具备自动将连续属性离散化的能力，从而适用于更广泛的场景[^2]。 #### 缺失值处理 对于含有缺失值的数据，ID3无法有效应对这一情况。然而，C4.5设计了一套机制用于估计缺失值的影响，并据此调整其计算逻辑，这极大地增强了模型在实际应用中的鲁棒性和适应能力。 #### 过拟合控制 ID3缺乏内置的防止过拟合手段，容易导致生成的决策树过于复杂。与此不同的是，C4.5引入了剪枝技术，通过对已构建好的树进行简化操作来减少过度匹配训练样本的风险，进而提高泛化性能。 ### 基尼系数及其应用场景分析 基尼系数主要用于衡量数据集中类别的不确定性程度或者说是“不纯度”。具体到二分类问题上来说，如果某个子节点里两类样本比例分别为p和q，则该节点对应的基尼指数可由公式Gini=1-(p²+q²)得出[^3]。当利用此指标指导决策树划分时，总是挑选能使整体加权平均后的基尼指数最小化的特征及阈值完成分割动作。 在 CART (Classification And Regression Tree) 中，无论是解决分类还是回归任务都会运用到类似的思路——即寻找最优切分点使目标函数达到最佳状态。对于前者而言就是降低类别间的混杂状况；而对于后者则是缩小预测值同真实值之间的差距(通常体现为均方误差等形式)[^4]。 因此，基尼系数非常适合应用于那些追求简单高效且不需要过多参数调优场合下的快速建模工作当中去。同时由于它本身定义简洁明了易于理解的缘故，在很多初学者入门教程里面也经常被拿来当作讲解案例之一加以展示说明。 ```python def gini_index(groups, classes): n_instances = float(sum([len(group) for group in groups])) gini = 0.0 for group in groups: size = float(len(group)) if size == 0: continue score = 0.0 for class_val in classes: p = [row[-1] for row in group].count(class_val) / size score += p * p gini += (1.0 - score) * (size / n_instances) return gini ``` 上述代码片段展示了如何手动实现一个用来评估候选切割方案质量高低的方法—gini_index() 函数 。 它接收两个输入参数 ：groups 表示当前尝试过后形成的若干分支区域列表 ，classes 则记录所有可能出现的结果标签集合 。最终返回值越低代表所选策略越好 。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据技术派

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值