cart剪枝，罚项系数a讨论

最新推荐文章于 2025-05-21 16:21:49 发布

原创最新推荐文章于 2025-05-21 16:21:49 发布 · 483 阅读

1 ·

CC 4.0 BY-SA版权

机器学习_笔记&心得专栏收录该内容

6 篇文章

订阅专栏

本文深入探讨了损失函数在决策树中的应用，特别是如何通过计算a阈值来实现有效剪枝，减少过拟合风险。通过具体公式和实例分析，展示了在不同节点剪枝时a值的变化，并讨论了直接对非叶节点进行剪枝的可能性及其前提条件。

损失函数：

Ca(T)=C(T)+a|T|

C(T)：训练误差

a|T|：罚项，树的大小

《统计学习方法》一书提到，计算各节点的a阈值，当a超过某节点阈值，则选择对该节点剪枝。

a= C（t）-C(Tt) /

|Tt|-1

可见a由届时的树计算决定

首先：每次只能计算叶节点的父节点所对应的a值？？？

如上图，直接计算C节点的a值与在B节点完成剪枝后，计算C节点的a值两个值是不同的，在计算式中也可得出此结论。

其次，是否可以直接对C进行剪枝？若D子树未完成剪枝？

出现这种情况的前提是在一次计算中a(c)<a(d)

卒

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qinmiochaos

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

正则化项L1和L2的区别

quanhujing的专栏

08-04

1689

一、概括： L1和L2是正则化项，又叫做罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。二、区别：　　1.L1是模型各个参数的绝对值之和。　　　L2是模型各个参数的平方和的开方值。　　2.L1会趋向于产生少量的特征，而其他的特征都是0. 　　　因为最优的参数值很大概率出现在坐标轴上，这样就会导致某一维的权重为0 ，产生稀疏权重矩阵　　 L2会选择更多的特征，这些特征都会接近于0。最优的参数值很小概率出现在坐标轴上，因此每一...

数据挖掘十大算法之CART详解

白马负金羁

11-23

5万+

在2006年12月召开的 IEEE 数据挖掘国际会议上，与会的各位专家选出了当时的十大数据挖掘算法（ top 10 data mining algorithms ），本博客的十大数据挖掘算法系列文章已经介绍了其中的六个，本文主要讨论CART，即分类回归树（Classification And Regression Tree），一个具体的例子将帮助大家更好地理解相关内容

参与评论您还未登录，请先登录后发表或查看评论

CART剪枝算法详解

tian_tian_hero的博客

01-09

1万+

CART剪枝算法 CART剪枝算法从“完全生长“的决策树的底端剪去一些子树，使决策树变小（模型变简单），从而能够对未知数据有更准确的预测。CART剪枝算法由两步组成：首先从生成算法产生的决策树T0底端开始不断剪枝，直到T0的根节点，形成一个子树序列{T0,T1 ,…, Tn}；然后通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树。 1．剪枝，得到子树序列子树的损失函数： ...

深度学习（九）正则化惩罚项

QuinnHanz的博客

05-31

3万+

在机器学习特别是深度学习中，我们通过大量数据集希望训练得到精确、泛化能力强的模型，对于生活中的对象越简洁、抽象就越容易描述和分别，相反，对象越具体、复杂、明显就越不容易描述区分，描述区分的泛化能力就越不好。比如，描述一个物体是“方的”，那我们会想到大概这个物体的投影应该是四条边，两两平行且垂直，描述此物体忽略了材质、质量、颜色等等的性状，描述的物体的多，相反，描述的内容...

惩罚因子（penalty term）与损失函数（loss function）

weixin_30342209的博客

12-06

2321

penalty term 和 loss function 看起来很相似，但其实二者完全不同。惩罚因子： penalty term的作用是把受限优化问题转化为非受限优化问题。比如我们要优化： min f(x) = $x^2 - 10x$ x 受限于 g(x) = x -3 <= 0 我们可以利用惩罚因子，将上述问题转化为非受限约束问题，也就是拿掉g(x)的限制。函数变...

L1惩罚项和L2惩罚项

zlrai5895的博客

12-10

1万+

x即为参数。 L2正则化参数从公式5可以看到，λλ越大，θjθj衰减得越快。另一个理解可以参考图2，λλ越大，L2圆的半径越小，最后求得代价函数最值时各参数也会变得很小。...

机器学习笔记21——决策树之CART算法原理及python实现案例

weixin_45666566的博客

08-12

1万+

CART算法引言1、概述2、CART算法2.1 CART生成2.1.1 回归树的生成2.1.2 分类树的生成2.2 CART剪枝2.2.1 剪枝，形成一个子树序列2.2.2 在剪枝得到的子树序列T0,T1,T2,T3......TnT_0,T_1,T_2,T_3......T_nT0,T1,T2,T3......Tn中通过验证选取最优子树TαT_\alphaTα 引言 \quad \quad在决策树、ID3、C4.5算法一文中，简单地介绍了决策树模型，以及决策树生成算法ID3算法和ID3算法的改

决策树基本原理：基于信息增益、增益率与基尼系数的划分选择，预剪枝与后剪枝，多变量决策树以及决策树优缺点概述

codelady_g的博客

12-19

5005

学习西瓜书决策树章节的笔记，介绍了ID3,C4.5,CART算法的划分方式，连续值和缺失值的处理，预剪枝和后剪枝，多变量决策树，并描述了决策树的主要优缺点。

机器学习之——CART决策树算法

AI_dataloads的博客

09-12

3315

CART（Classification And Regression Trees 分类回归树）算法是一种树构建算法，既可以用于分类任务，又可以用于回归。相比于 ID3 和 C4.5 只能用于离散型数据且只能用于分类任务，CART 算法的适用面要广得多，既可用于离散型数据，又可以处理连续型数据，并且分类和回归任务都能处理。

探秘数据结构与算法中决策树的剪枝策略对比

AI 算法实战派

05-21

1068

决策树作为机器学习中最基础且重要的算法之一，其剪枝策略直接影响模型性能。系统梳理决策树剪枝的核心方法深入分析不同剪枝策略的数学原理提供可落地的实现方案和优化建议对比各种策略在实际场景中的应用效果本文首先介绍决策树和剪枝的基本概念，然后深入分析预剪枝和后剪枝策略，接着通过Python实现展示具体应用，最后讨论实际场景中的选择策略和未来发展方向。决策树：基于树结构的分类/回归模型，通过递归划分特征空间实现预测剪枝：减少决策树规模的技术，旨在提高泛化能力过拟合。

拉格朗日乘子法、罚函数法、乘子罚函数法

lmm6895071的专栏

10-24

4万+

拉格朗日乘子法 1 无约束问题 2 等式约束问题 3 不等式约束问题KTT条件罚函数法 1 定义 2 内罚函数法 3 外罚函数法增广拉格朗日乘子法 1 定义 2 求解本文简单总结一些相关概念，具体证明以后再补充； 1. 拉格朗日乘子法 2. 罚函数法：外罚函数与内罚函数法 3. 增广拉格朗日乘子法 1. 拉格朗日乘子法1.1 无约束问题无约束问题，定义为 minf(x)\

约束优化问题的罚函数求解方法

LSEC小陆的博客

06-03

2万+

约束优化问题的罚函数求解方法（外罚）惩罚函数法是求解有约束的最优化问题的一种算法。惩罚函数法的要旨是将一个有约束的最优化问题转化为一系列的无约束问题；这些无约束问题由原问题及罚函数，再加上惩罚因子组成；而且，这些无约束问题的解会收敛于所求问题的解。算法和步骤程序和示例写一个程序用罚函数方法求解：计算前两部迭代的结果，也就是x1x1x_1和x2x2...

惩罚项的意义-为什么有惩罚项？

qq_41394324的博客

06-02

1万+

从我们的假设函数，我们可以降低权重，在函数中增加一些项来增加他们的成本。比如我们要使下面的函数二次项的权重增大：我们要减小θ3x3和θ4x4的影响。实际上，如果不排除这些特性或改变我们假设的形式，我们可以修改我们的成本函数：我们已经对最后的θ3和θ4增加了额外的成本。现在，为了使成本函数尽量的接近0，我们将不得不减少θ3和θ4值使他们接近零。这将大大地减少θ3x3和θ4x4再成本函数中...

GLM(广义线性模型) 与 LR(逻辑回归) 详解

热门推荐

段哥哥的博客

07-21

6万+

本文对 GLM 广义线性模型与 Logistic Regression 逻辑回归相关话题进行了相对深入全面的解析，并提供大量数学证明。

[机器学习] 惩罚项 regularization

liudiudiu

09-10

7347

會出現overfitting，而當網絡逐漸overfitting時網絡權值逐漸變大，因此，為了避免出現overfitting,會給誤差函數添加一個懲罰項，常用的懲罰項是所有權重的平方乘以一個衰減常量之和。其用來懲罰大的權值。给某一层添加称惩罚项...

pagerank收敛原因

Qin_Mio_Chaos的博客

07-28

1912

迭代公式 X=(1-a) x E+axRxX 其中a:衰减系数 E：nx1单位向量 R：nxn状态转移概率矩阵 X：nx1状态矩阵，（i,1）表示网站i得票数，总票数为1 展开迭代式，得到 X=（1-a）E+(1-a)axRxE+(1-a)a^2 xR^2xE+...(1-a)a^(n-1)xR^(n-1)xE 整理易得 X= 随着n增长，常数项（1-a）x a^i

二分类——多分类：一点思考

Qin_Mio_Chaos的博客

08-12

1738

将多分类归结为二分类，有两种简单方法： 1、类A——非类A 单类别与补集分类 2、类A——类B 单类别与单类别分类举个简单线性分类例子：对于左图，可使用方法1，因为类别与补集直接线性可分对于右图，每个类别都不可与其补集线性分割，但两类之间线性可分可见“两类间线性可分”这一命题弱于“类别与补集线性可分” 特别地，对于未

adaboost： 0%正确率=100%正确率

Qin_Mio_Chaos的博客

09-01

1404

adaboost是二分类算法二分类器有个很好的性质：若sign（f）em>1/2，将分类器改为 -sign（f）即可对于adaboost，其系数能自适应em>1/2的情况子分类器Gm（x）系数 am=1/2 log( (1-em)/em ) 为负 am 对应的加权子分类器：amGm（x）取负，则该子分类器等价于em 另一方面，数据集的权值更新：Wm+1,

kd树修改：BBF简析

Qin_Mio_Chaos的博客

08-10

768

bbf是一个近似算法，凭借决定算法执行步数，限定了搜索次数。 bbf是我在v july v博客里看到的，里面提到“算法执行至队列为空”，应该是不当的说法，若真实行至此，则完成了所有点的扫描。下面简单图示：对于任意一棵树，可以通过对节点的谓词取反，得到交换左右子树的效果，最终得到上图。红色节点为搜索路径（作为初始解），将蓝色节点加入优先队列（优先级为与点A的距离），然后

Java实现决策树算法基尼系数