决策树的损失函数（四）

最新推荐文章于 2025-12-03 17:03:32 发布
原创 最新推荐文章于 2025-12-03 17:03:32 发布 · 179 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#决策树 #算法

在这里插入图片描述
C(T) 是 叶子节点的个数 * 叶子节点的熵值
a 是设定的参数
Tleaf 是叶子节点的个数，叶子节点越多， 越差，容易过拟合

计算后进行取损失函数最小的

在这里插入图片描述
Nt 当前叶子节点有几个样本
Ht 当前叶子节点的熵值
Ct越小，代表效果越好

关于决策树损失函数来源的理解与推导
wzk1996的博客
08-22 9256
在阅读《统计学习方法》5.1.4决策树学习一节过程中，有如下一句话引起博主疑惑：决策树的损失函数通常是正则化的极大似然函数。书上并未给出具体推导，直到5.4决策树的剪枝中，直接给出了正则化的决策树损失函数：。其中|T|代表叶节点个数，表示具体某个叶节点的样例数，表示叶节点经验熵。 我们知道正则化的损失函数中前一项代表经验误差，而在概率模型中(决策树模型是一种概率模型)，经验误差函数的获得往往通过...
决策树损失函数
weixin_45834072的博客
11-12 2417
决策树损失函数一.决策树的损失函数二.如何理解 在学习决策树的过程中,会存在损失函数。损失函数是什么呢?如何理解? 一.决策树的损失函数 为了避免出现过拟合的现象，我们要对决策树进行剪枝。 决策树的剪枝类似一种参数正则化的过程，其选择正则化的参数是树的叶子节点的个数。 设决策树 T 的叶子节点个数为 |T|，t 是树 T 的叶子节点，该叶节点有 Nt 个样本点，其中 k 类的样本点有 Ntk 个，...
决策树底层思想，决策树的损失函数与极大似然函数理解
weixin_45804601的博客
10-31 727
决策树底层思想，决策树的损失函数与极大似然函数理解
机器学习笔记之十九——决策树的损失函数（补充）
D的博客
02-10 4431
  决策树生长的核心在于如何选择最优特征作为当前结点分割的特征。   当决策树如此生长完成后，对训练集程度会很好，但是对测试集一般都会出现高方差、过拟合的现象，如何预防这种现象，就是之前提到的预剪枝、后剪枝方法。   而剪枝过程换个方法来讲，其实就是在优化降低Loss function的的过程。   Loss function     设决策树T的叶节点个数为, 是树的叶节点，该叶节点有个...
决策树DT的损失函数
malele4th
04-21 1739
参考：https://www.jianshu.com/p/fb97b21aeb1d 决策树的学习本质上就是从训练数据集中归纳出一组分类规则，使它与训练数据矛盾较小的同时具有较强的泛华能力。 决策树的损失函数通常是 正则化的极大似然函数，学习的策略是最小化损失函数 由于这个最小化问题是一个NP完全问题，现实中，我们通常采用启发式算法来近似求解这一最优化问题，得到的决策树是次最优的。 该启发式...
决策树的损失函数是什么？怎么理解？
weixin_45834085的博客
11-12 2713
在学习决策树的过程中,会存在损失函数。损失函数是什么呢?如何理解? 目录一.决策树的损失函数二.如何理解 一.决策树的损失函数 为了避免出现过拟合的现象，我们要对决策树进行剪枝。 决策树的剪枝类似一种参数正则化的过程，其选择正则化的参数是树的叶子节点的个数。 设决策树 T 的叶子节点个数为 |T|，t 是树 T 的叶子节点，该叶节点有 Nt 个样本点，其中 k 类的样本点有 Ntk 个，Ht(T)...
机器学习--决策树
qq_47180202的博客
09-22 1494
机器学习--决策树一、决策树1.1 概览1.2 理论知识二、使用步骤1.引入库2.读入数据总结 以下是本篇文章正文内容，下面案例可供参考 一、决策树 1.1 概览 一种对实例进行分类的树形结构，通过多层判断区分目标所属类别、 本质：通过多层判断，从训练数据集中归纳出一组分类规则。 优点： 计算量小，运算速度快 易于理解，可清晰查看各属性的重要性 缺点： 忽略属性间的相关性 样本类别分布不均匀时，容易影响模型表现 1.2 理论知识 二、使用步骤 1.引入库 代码如下（示例）： import nump
决策树的损失函数公式详细说明和例子说明
彬彬侠的博客
09-30 1923
详细介绍了决策树的损失函数的每个部分，加权的经验熵衡量了整个决策树的分类效果和正则化项控制树的复杂度，通过一个分类的例子一步步计算出了损失函数值。
机器学习基础 - 决策树算法
weixin_45516016的博客
12-22 1584
机器学习基础 - 决策树算法 1. 本章的主要学习内容为 决策树：决策树、信息熵与最优划分、基尼系数、CART 实现：决策树实现 2. 初始决策树 决策树是一个非常有意思的模型，它的建模思路是尽可能模拟人做决策的过程。因此决策树几乎没有任何抽象，完全通过生成决策规则来解决分类和回归问题。因为它的运行机制能很直接地被翻译成人类语言，即使对建模领域完全不了解的非技术人员也能很好地理解它。因此在学术...
机器学习——决策树剪枝算法
weixin_39753819的博客
03-23 1664
本篇博客介绍了决策树的剪枝算法，包括预剪枝和后剪枝两种方法，以及决策树的损失函数（目标函数）。通过Python实现了预剪枝和后剪枝算法，并在相同的数据集上进行了比较。预剪枝通过限制决策树的生长来防止过拟合，但可能会导致欠拟合。后剪枝是在决策树生成完成后，通过一定的方法对决策树进行剪枝，可以更好地提高模型的泛化能力。在实际应用中，需要根据具体问题的特点和数据集的情况选择合适的剪枝算法，并通过调参来优化模型性能。
3Blue1Brown《线性代数的本质》矩阵乘法与线性变换复合
木梓油
12-03 639
摘要：传统线性代数教学往往机械地教授矩阵乘法的计算规则，而忽略了其几何本质。通过3Blue1Brown的视频，我们认识到矩阵乘法实际上是线性变换的复合过程。以两个矩阵A和B为例，先进行变换A再进行变换B，整体效果对应矩阵乘积BA而非AB，这体现了变换顺序的重要性。矩阵乘法不满足交换律，反映了空间变换的顺序依赖性。最终理解矩阵乘法不是枯燥运算，而是描述空间变换如何衔接的"舞蹈编排"。(149字)
《统计学习方法》第5章——决策树（上）【学习笔记】
玦尘的博客
11-29 839
这些笔记主要是我个人的学习记录，如果恰好对你也有帮助，那就更好了。希望通过这个过程，能让自己对机器学习的理论基础有更扎实的理解。
dfs|mask^翻转
一个人知道自己为什么而活，他就能够接收任何一种生活
11-30 158
注意到：灯泡状态周期是6。
2025年全国大学生统计科学与算法编程挑战赛——算法赛道（一）
qq_73044452的博客
12-01 286
摘要：本文包含三个编程问题的解决方案。1) 贪吃蛇问题：通过解析移动指令计算蛇最终所在格子的编号；2) 经济小鱼问题：计算前两局存钱、后两局花钱，最终剩余指定金币的方案数；3) 小理吃甜食问题：模拟多轮糖果挑选过程，计算小理获得的最大总糖果值。每个问题都给出了完整的C++实现代码，涉及字符串处理、数学计算和模拟算法等技术。
算法基础篇：（二十一）数据结构之单调栈：从原理到实战，玩转高效解题
2301_79248256的博客
11-29 1589
本文深入解析了单调栈这一高效数据结构。首先介绍了单调栈的基本概念，即在普通栈的基础上增加元素单调性约束，可分为递增栈和递减栈。接着详细讲解了四种核心应用场景：寻找左右侧最近更大/更小元素，并提供了对应的C++代码实现。通过洛谷P5788等模板题和发射站、柱状图最大矩形等实战案例，展示了单调栈如何将O(n²)问题优化为O(n)解法。最后总结了单调性选择、遍历方向等核心技巧，并给出避免数据溢出、优化IO等实用建议。掌握单调栈能有效解决"找最近最值"类问题，是算法竞赛和面试中的重要工具。
[优选算法专题十.哈希表 ——NO.55~57 两数之和、判定是否互为字符重排、存在重复元素]
2401_83386596的博客
12-03 551
两数之和问题的最优解法采用哈希表实现O(n)时间复杂度，通过存储元素值与下标的映射关系，快速查找互补值。字符重排判定问题通过单哈希数组统计字符出现次数，先加后减并实时校验，确保字符种类和数量完全一致。存在重复元素问题使用哈希集合检测重复元素，遍历数组时检查元素是否已存在于集合中。三种解法均利用哈希结构优化查找效率，将时间复杂度从暴力解法的O(n²)降至O(n)，是典型空间换时间策略的工业级实现。
红包分配算法的严格数学理论与完整实现
12-03 513
红包分配问题可以严格定义为： 定义 1.1（红包分配问题）: 给定总金额 M>0M > 0M>0 和参与人数 n∈N+n \in \mathbb{N}^+n∈N+，分配函数 f:{1,2,...,n}→R+f: \{1, 2, ..., n\} \rightarrow \mathbb{R}^+f:{1,2,...,n}→R+ 需要满足：设 Ω\OmegaΩ 为样本空间，F\mathcal{F}F 为事件域，PPP 为概率测度： 1.2.2 随机变量性质 定义随机变量 XiX_iXi​ 表示第 iii 个人获
简单多源BFS问题
最新发布
MiauwYuki的博客
12-03 96
简单多源BFS问题
力扣每日一题：统计梯形的数目
yyssas的博客
12-03 125
同时，由于这里只是统计有平行边的四边形，会出现平行四边形，因为两对边都是平行边，因此被统计了两次。对于平行四边形，要判断，就是通过两个对角线的中点是相同的。因此，只要对角线的中点是相同的，然后找所有不同k的边，就可以顺利统计出平行四边形的个数。此处，首先要先统计所谓平行的边，判断依据就是斜率相同且截距不同，因此，要统计平行的边组成的梯形的个数，就是找k相同，b不同的。因此，要用一个哈希表，外层存k，内存存b，这样才能实现遍历的时候正确统计平行边个数。个点在笛卡尔平面上的坐标。给你一个二维整数数组。
决策树损失函数‘
03-25
### 常见的决策树损失函数及其作用 在决策树算法中，损失函数用于评估模型的质量并指导树的生成和剪枝过程。以下是几种常见的损失函数以及它们的作用： #### 1. **熵 (Entropy)** 熵是一种常用的损失函数，主要...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

东哥aigc

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值