基础算法-回归决策树

最新推荐文章于 2025-10-18 11:32:15 发布
原创 最新推荐文章于 2025-10-18 11:32:15 发布 · 4.2k 阅读 · 35 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

本文介绍了回归决策树的基本原理，重点讲述了如何计算最优切分点以构建分段函数。在代码实战部分，详细解释了API参数如criterion、splitter、max_depth等，并提到了如何防止过拟合。此外，还介绍了相关方法如apply、get_depth等用于评估和操作决策树模型。

回归决策树算法原理

回归决策树算法概述

在这里插入图片描述

在这里插入图片描述

叶子节点按样本的平均数划分

回归树模型计算

回归树结果其实是一个分段函数
那么以什么标准分段呢？这需要计算最优切分点
在这里插入图片描述

计算最优切分点

mse计算最优切分点
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
因为回归树结果是一个分段函数

最低0.47元/天 解锁文章
AI算法22-决策树算法Decision Tree | DT
yangguangjiujiu99的专栏
07-18 1471
我们在日常生活中经常会遇到一些选择需要去做一些选择，比如我们在找工作的时候每个人都希望能找到一个好的工作，但是公司那么多，工作种类那么多，什么样的工作才能算是好工作，这个时候就需要我们对众多的工作去做一个判断。最常用的一种方法就是制定几个可以衡量工作好坏的指标，比如公司所处的行业是什么、应聘的岗位是什么、投资人是谁、薪酬待遇怎么样等等。
决策树回归算法
08-20
文档为pdf格式，对回归决策树的原理进行了详细叙述及举例说明，并包含python实现代码。
决策树回归（概念+实例）
weixin_47151388的博客
04-29 1万+
决策树回归（Decision Tree Regression）是一种常用的机器学习算法，用于预测连续型变量的取值。它基于树结构来对数据进行建模和预测，通过将数据集划分为不同的区域，并在每个区域内预测一个常数值来实现回归任务。在本文中，我将详细介绍决策树回归的原理、构建过程、优缺点以及应用场景。
决策树算法原理文档
最新发布
2501_93482674的博客
10-18 745
决策树（Decision Tree）是一种基于分层决策规则的监督学习算法，其核心思想是通过对数据特征的逐步划分，将复杂问题拆解为一系列简单的“是/否”判断，最终得到预测结果。决策树的优势在于可解释性极强（决策逻辑可视化）、对数据格式要求低（无需归一化、可处理混合类型特征），因此广泛应用于工业质检、金融风控、医疗诊断等对“决策透明度”要求高的场景。
机器学习：决策树之回归树的原理
纸上得来终觉浅
08-22 1721
机器学习：决策树之回归树的原理
【决策树回归的原理】
2301_77444219的博客
07-02 2106
CART假设决策树是二叉树，内部节点特征的取值只有“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。综上所述，回归树是一种有效的回归预测方法，通过递归地划分特征空间并计算每个子区域的预测值来构建模型。在实际应用中，回归树具有广泛的适用性和良好的预测性能。其基本原理是将特征空间划分为多个子区域，每个子区域输出一个预测值，通常是该区域内所有训练样本标签的均值。回归树（Regression Tree）是一种使用树模型来解决回归问题的算法。解决回归问题的决策树模型即为回归树。
【机器学习算法】决策树-1（分类树及回归树的基本原理）
qq1021091799qq的博客
07-21 2172
分类树和决策树的解释和基本原理
机器学习-分类算法-回归分析-数据挖掘-KNN-决策树-朴素贝叶斯-逻辑斯蒂回归-随机梯度下降-全梯度下降-mnist-Iris-鸢尾花-西瓜数据集-trec06c-垃圾邮件-OL.zip
05-08
决策树则是一种图形化的决策支持工具，它使用树状图或模型来展示决策过程。朴素贝叶斯分类器基于贝叶斯定理，假设特征之间相互独立。逻辑斯蒂回归是回归分析中的一种技术，但常用于二分类问题。 随机梯度下降（SGD...
机器学习基础算法-回归类型和评价分析
09-07
6. **决策树回归**：决策树模型可以用于回归任务，通过构建一系列规则来预测连续值。包括CART、ID3、C4.5等不同算法。 7. **随机森林回归**：由多个决策树组成的集成模型，每个树都独立预测，最后取平均或多数投票...
CART回归树
weixin_43461341的博客
10-23 1870
本文链接：https://blog.youkuaiyun.com/Albert201605/article/details/81865261 核心：划分点选择 + 输出值确定。 一、概述 决策树是一种基本的分类与回归方法，本文叙述的是回归部分。回归决策树主要指CART(classification and regression tree)算法，内部结点特征的取值为“是”和“否”， 为二叉树结构。 所谓回归，就...
机器学习算法原理--决策树
qiqiaoya的博客
05-09 627
信息增益是指在使用某一特征进行数据集划分前后，数据集熵的变化量。熵是数据集中混乱程度或不确定性的一种度量，熵越大表示不确定性越高。信息增益反映了使用某个特征进行分类后，不确定性减少的程度。信息增益比是对信息增益的一种修正，旨在解决信息增益偏好具有大量值的特征的问题。它通过除以特征的固有值的熵（也就是特征本身的不确定性），来对信息增益进行规范化。
决策树算法原理详解
07-03
【文档说明】 本文是自己整理的一些重点知识点，也是面试中会被问到的知识点 【文档结构】 决策树 信息熵（Entropy） 什么是决策树 决策树的构建过程 决策树分割属性选择 决策树量化纯度 决策树量化纯度 信息增益率计算方式 决策树的停止条件 决策树算法效果评估 决策树生成算法 ID3算法 ID３算法优缺点 C4.5算法 8 CART算法 8 ID3\C4.5\CART分类回归树算法总结 分类树和回归树的区别 决策树优化策略 决策树的剪枝 决策树剪枝过程 附录：
【机器学习】回归决策树
热门推荐
风口IT猪的成长录
07-16 1万+
回归决策树1. 原理概述2. 算法描述3. 简单实例3.1 实例计算过程3.2 回归决策树和线性回归对比4. 小结 1. 原理概述 上篇文章已经讲到，关于数据类型，我们主要可以把其分为两类，连续型数据和离散型数据。在面对不同数据时，决策树也 可以分为两大类型： 分类决策树和回归决策树。 前者主要用于处理离散型数据，后者主要用于处理连续型数据。 不管是回归决策树还是分类决策树，都会存在两个核心问题： 如何选择划分点？ 如何决定叶节点的输出值？ ⼀个回归树对应着输入空间（即特征空间）的⼀个划分以及在划分单元
决策树算法处理分类及回归问题的原理及python代码实现
weixin_71894495的博客
08-16 1686
本文讲解了决策树的原理以及信息熵和基尼系数对决策树分类的作用，并通过手写代码进一步阐述了决策树的实现原理。最后通过调用sklearn封装的函数使用决策树算法解决分类及回归问题，以及函数中诸多超参数的含义。
决策树（回归树）全解析：原理、实践与应用
2201_75607087的博客
08-04 1668
回归树是决策树家族中专攻连续型数值预测的模型，其运作逻辑可理解为 “把复杂回归难题拆分成简单小任务”。打个比方，要预测房价（典型的连续数值），它会依据 “房屋面积＞100㎡”“房龄＜5 年” 这类规则，将整个数据集像切蛋糕一样，分割成一个个叶节点。每个叶节点会计算对应子数据集的均值，以此作为该区域的预测输出。整个过程就像树状结构那样，从根节点开始逐层做决策，既直观又高效，哪怕是非技术人员，也能轻松看懂模型的大致判断逻辑。现过拟合，曲线变得 “崎岖”，在新数据上预测效果变差。
回归决策树的介绍
Despicable_Me的博客
05-27 3921
回归决策树（Regression Decision Tree）是一种决策树算法，用于解决回归问题。与传统的分类决策树不同，回归决策树的目标是预测连续数值型的输出，而不是离散的类别标签。数据集准备：首先，需要准备训练数据集，包括输入特征和对应的输出值。每个样本都有一组特征值和一个连续数值型的输出。特征选择：选择最佳的特征来划分数据集。常用的划分准则包括平方误差（Mean Squared Error, MSE）和平均绝对误差（Mean Absolute Error, MAE）等。
决策树回归算法原理及Python实践
u013571432的博客
09-06 1508
决策树回归算法（Decision Tree Regression）是一种常用的机器学习算法，用于预测连续型变量的取值。其原理基于树结构对数据进行建模和预测，通过将数据集划分为不同的区域，并在每个区域内预测一个常数值来实现回归任务。
回归树
weixin_30947043的博客
03-16 697
目录 分类树与回归树 回归树 原理介绍 最小二乘回归树生成算法 CART算法 Python代码 节点类 回归树类 简单的例子 Python...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值