【漫话机器学习系列】033.决策树回归（Decision Tree Regression）

最新推荐文章于 2025-02-11 09:40:47 发布
最新推荐文章于 2025-02-11 09:40:47 发布
阅读量1.3k 收藏 6
点赞数 11
CC 4.0 BY-SA版权
分类专栏： 漫话机器学习系列专辑 文章标签： 机器学习 决策树 回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/IT_ORACLE/article/details/144900386

决策树回归（Decision Tree Regression）

决策树回归是一种基于树状结构进行回归分析的监督学习方法。它将输入空间递归地划分为多个区域，并在每个区域内拟合一个简单的常数值，从而对目标变量进行预测。

决策树回归的原理

  1. 树的构建

    • 决策树以树的形式对数据进行划分。
    • 每次划分选择一个特征及其阈值，将数据集分为两个子集。
    • 目标是找到最佳划分，使得子集内的目标变量尽可能一致（即减少误差）。

  2. 划分准则
    通常采用均方误差（MSE, Mean Squared Error）作为划分的评价指标：

                                        MSE = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y})^2

    其中，y_i 是真实值，

最低0.47元/天 解锁文章
决策树回归
weixin_40809507的博客
12-16 4185
决策树回归 决策树 基本算法原理 核心思想：相似的输入必会产生相似的输出。例如预测某人薪资： 年龄：1-青年，2-中年，3-老年 学历：1-本科，2-硕士，3-博士 经历：1-出道，2-一般，3-老手，4-骨灰 性别：1-男性，2-女性 年龄 学历 经历 性别 ==> 薪资 1 1 1 1 ==> 6000（低） 2 1 3 1 ==> 10000（中） 3 3 4 1 ==> 50000（高） … … … … ==> … 1 3 2 2 ==&
[机器学习]回归--Decision Tree Regression
摩登都市天空---专栏
05-09 7134
CART决策树又称分类回归树，当数据集的因变量为连续性数值时，该树算法就是一个回归树，可以用叶节点观察的均值作为预测值；当数据集的因变量为离散型数值时，该树算法就是一个分类树，可以很好的解决分类问题。但需要注意的是，该算法是一个二叉树，即每一个非叶节点只能引伸出两个分支，所以当某个非叶节点是多水平(2个以上)的离散变量时，该变量就有可能被多次使用。在sklearn中我们可以用来提高决策树泛化能力的...
决策树回归DecisionTreeRegressor
12-17
理解DecisionTreeRegressor的原理，并编程实践。python语言编写。机器学习实验二。附有实验报告，
2021-04-24
hufushen的博客
04-24 176
决策树 – 回归 解决问题 实现基于特征范围的树状遍历的回归。 解决方案 通过寻找样本中最佳的特征以及特征值作为最佳分割点，构建一棵二叉树。选择最佳特征以及特征值的原理就是通过满足函数最小。其实选择的过程本质是对于训练样本的区间的分割，基于区间计算均值，最终区域的样本均值即为预测值。 在预测的时候，将会根据提供的样本的特征，来遍历二叉树（确定区域的过程），其中叶子节点的值就是预测值。 构建回归决策树，过程，其实可以理解对训练样本进行监督式聚类，每个分类都是有一组特征逻辑范围做描述；预测的时候，其实就是在匹配
【漫话机器学习系列】034.决策树（Decision Tree）
IT古董
01-04 673
决策树是一种常见的监督学习算法，可用于解决分类和回归问题。它通过一系列的条件划分数据集，将样本分配到特定的叶节点，以此进行预测。决策树直观、易于解释，是机器学习中广泛使用的模型之一。决策树是一种灵活、高效的算法，适用于多种任务。虽然存在过拟合和局限性，但通过剪枝、正则化或与其他算法结合，可以显著提升其性能。决策树的简单性和可解释性使其成为机器学习中的重要工具。
【漫话机器学习系列】082.岭回归（或脊回归）中的α值（alpha in ridge regression）
IT古董
02-06 996
岭回归（Ridge Regression）是一种 带有 L2​ 正则化 的线性回归方法，用于处理多重共线性（Multicollinearity）问题，提高模型的泛化能力。其中，α 值（正则化强度） 是岭回归的关键超参数，它决定了正则化项的权重。
【漫话机器学习系列】001.Adaboost算法
IT古董
12-06 1681
Adaboost（Adaptive Boosting）是一种经典的集成学习方法，主要思想是通过将多个弱学习器（通常是简单模型，如决策树桩）加权组合，来提升整体模型的预测能力。Adaboost 是一种自适应的学习方法，能够不断调整弱学习器的训练过程，专注于难分类的样本，从而逐步提高分类性能。Adaboost 是一种非常强大的集成学习方法，通过加权组合多个弱学习器，提升模型的预测能力。其基本思路是通过加权关注难以分类的样本，并通过简单的弱学习器（如决策树桩）来逐步改善分类性能。尽管 Adaboost 在大多数情
【漫话机器学习系列】089.凹函数&凸函数（Concave & Convex Function）
最新发布
IT古董
02-11 1432
在数学分析和优化理论中，凸函数（Convex Function）和凹函数（Concave Function）是非常重要的概念。它们广泛应用于机器学习、经济学、优化问题以及工程领域。本文将详细介绍凸函数与凹函数的定义、几何直观理解、数学性质、判定方法及其在现实中的应用。
决策树 – 回归
sakura_saku的博客
05-04 1513
决策树 – 回归 解决问题 实现基于特征范围的树状遍历的回归。 解决方案 通过寻找样本中最佳的特征以及特征值作为最佳分割点，构建一棵二叉树。选择最佳特征以及特征值的原理就是通过满足函数最小。其实选择的过程本质是对于训练样本的区间的分割，基于区间计算均值，最终区域的样本均值即为预测值。 在预测的时候，将会根据提供的样本的特征，来遍历二叉树（确定区域的过程），其中叶子节点的值就是预测值。 构建回归决策树，过程，其实可以理解对训练样本进行监督式聚类，每个分类都是有一组特征逻辑范围做描述；预测的时候，其实就是在匹配
PyTorch下，使用list放置模块，导致计算设备不一的报错
2401_85327249的博客
06-20 850
在复现 Transformer 代码的训练阶段时，发生报错： RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu!
决策树-回归
weixin_30578677的博客
04-07 164
决策树常用于分类问题，但是也能解决回归问题。 在回归问题中，决策树只能使用cart决策树，而cart决策树，既可以分类，也可以回归。 所以我们说的回归树就是指cart树。 为什么只能是cart树 1. 回想下id3，分裂后需要计算每个类别占总样本的比例，回归哪来的类别，c4.5也一样 2. 回归问题肯定是连续属性，所以只能二划分，而cart树是强制的二叉树 回归树...
决策树（回归）
yxf2505的博客
04-13 2476
回归树重要参数，属性，接口 决策树（回归）和决策树（分类）的参数，属性和接口基本是一样的。 sklearn里面的计算都是不能够干涉的，它会自己按照公式计算。 回归树衡量分支质量的指标有三种： 1）mse均方差 2）‘friedman_mse’费尔曼德均方误差 3）‘mae’绝对平均误差 属性最重要的依然是‘feature_importances_’，接口依然是‘apply’，‘fit’，‘score’，‘predict’最为核心。 在回归树中，MSE不只是我们的分支质量衡量标准，也是我们最常用的衡量回归树回
CART回归树
weixin_43461341的博客
10-23 1808
本文链接：https://blog.csdn.net/Albert201605/article/details/81865261 核心：划分点选择 + 输出值确定。 一、概述 决策树是一种基本的分类与回归方法，本文叙述的是回归部分。回归决策树主要指CART(classification and regression tree)算法，内部结点特征的取值为“是”和“否”， 为二叉树结构。 所谓回归，就...
决策树回归（Decision Tree Regression）
qq_44133607的博客
07-18 791
决策树回归是一种非参数监督学习方法，用于回归问题。它通过将数据集划分成较小的子集来建立模型，并在这些子集上构建简单的预测模型（通常是恒定值）。
【机器学习】回归决策树
热门推荐
风口IT猪的成长录
07-16 1万+
回归决策树1. 原理概述2. 算法描述3. 简单实例3.1 实例计算过程3.2 回归决策树和线性回归对比4. 小结 1. 原理概述 上篇文章已经讲到，关于数据类型，我们主要可以把其分为两类，连续型数据和离散型数据。在面对不同数据时，决策树也 可以分为两大类型： 分类决策树和回归决策树。 前者主要用于处理离散型数据，后者主要用于处理连续型数据。 不管是回归决策树还是分类决策树，都会存在两个核心问题： 如何选择划分点？ 如何决定叶节点的输出值？ ⼀个回归树对应着输入空间（即特征空间）的⼀个划分以及在划分单元
决策树回归（概念+实例）
weixin_47151388的博客
04-29 1万+
决策树回归（Decision Tree Regression）是一种常用的机器学习算法，用于预测连续型变量的取值。它基于树结构来对数据进行建模和预测，通过将数据集划分为不同的区域，并在每个区域内预测一个常数值来实现回归任务。在本文中，我将详细介绍决策树回归的原理、构建过程、优缺点以及应用场景。
决策树--回归树
weixin_48474362的博客
04-20 1823
用树模型做回归问题，每一片叶子都输出一个预测值。
深度解析数学常数e：《解码三大数学常数：e的密码》与《漫话e》
标题中提到的《解码三大数学常数：e的密码》和《漫话e》显然是两本关于数学的科普读物，特别聚焦于数学常数e。数学常数e，也称为自然对数的底数，是一个无理数，其数值约为2.71828。这个数在数学、物理学、工程学、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值