用决策树模型求解回归问题（regression tree）

最新推荐文章于 2025-11-06 14:42:06 发布
原创 最新推荐文章于 2025-11-06 14:42:06 发布 · 582 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

决策树模型不仅用于分类，也可解决回归问题。本文探讨了如何在构建回归树时使用SSE（均方误差）、OLS（普通最小二乘法）和分位数回归，强调了这些原则在构建过程中的应用。
                       

How do decision trees for regression work?

决策树模型既可以求解分类问题（对应的就是 classification tree），也即对应的目标值是类别型数据，也可以应用于回归预测问题的求解（regression tree），其输出值则可以是连续的实数值。一般市面上介绍决策树模型的书及相关的教学视频，通常只关注决策树在分类问题上的求解，而一笔带过对回归树的介绍。事实上，二者的构建过程也确实没有本质的不同，二者的差异主要集中在划分属性时的划分原则上。

1. SSE

最低0.47元/天 解锁文章
【python 机器学习】回归决策树与线性回归对比
m0_62599305的博客
04-19 1008
在机器学习中，回归决策树和线性回归是两种常见的回归模型，它们都有各自的优缺点，适用于不同类型的数据。回归决策树是一种基于树形结构的非线性回归模型，而线性回归则是一种简单的统计方法，用于寻找特征与目标之间的线性关系。今天，我们将比较这两者的区别，并通过Python实现一个对比实验。线性回归：你可以想象你正在绘制一条直线，这条直线尽量让所有数据点靠近它。线性回归通过找出一条最佳的直线，来预测数据的输出值。例如，如果你要预测一个房子的价格，线性回归会试图找到一个面积与价格之间的直线关系。简单来说，线性回归假设特征
【机器学习-15】决策树（Decision Tree，DT）算法：原理与案例实现
qq_38614074的博客
04-10 3万+
决策树算法是机器学习领域中的一种重要分类方法，它通过树状结构来进行决策分析。决策树凭借其直观易懂、易于解释的特点，在分类问题中得到了广泛的应用。本文将介绍决策树的基本原理，包括熵和信息熵的相关概念，以及几种经典的决策树算法。
决策树模型回归可视化分析_回归树分析与sklearn决策树案例！
weixin_39561004的博客
11-20 1735
文 | 菊子皮 (转载请注明出处)同名B站：AIAS编程有道「摘要：」 决策树是非常基础的算法，其不仅能够进行分类还可以进行回归处理，也就是回归树。要想提高决策树的性能还需要做好剪枝的工作。「关键词：」 回归树，剪枝1 回归树之前已经介绍过决策树的基本理论了：【机器学习】这份分类决策树算法介绍请收好！。回归树(regression tree)，顾名思义是将决策树应用于回归问题当中的，...
决策树回归模型——Decision_treeRegression
jdjhcn的博客
03-18 2060
决策树分类模型与决策树的回归模型之间存在着些许的差异，我们需要考虑分类和回归的分裂标准分别是什么。提示：以下是本篇文章正文内容，下面案例可供参考1、criterion{“squared_error”， “mse”， “absolute_error”， “泊松”}， default=“mse”，节点分裂依据。默认为mse，可选择mae（平均绝对误差）——>使用绝对值sum|y_i-c1|+sum|y_i-c2|,这里没有进行平方，mse是下面的公式。
决策树回归
ckyll的博客
05-22 1168
与分类决策树类似，回归决策树通过递归地将数据集分割成越来越小的子集来构建树结构，但不同的是，它在每个叶节点上预测的是一个数值（目标变量的平均值或中位数等）而非类别。在初始化过程中，指定了一些超参数，如决策树的最大深度 max_depth=5、内部节点拆分所需的最小样本数 min_samples_split=20、叶节点所需的最小样本数 min_samples_leaf=10、以及用于寻找最佳拆分的特征数 max_features='sqrt'。在回归问题中，决策树用于预测连续值的输出，如价格或温度等。
[机器学习]回归--Decision Tree Regression
摩登都市天空---专栏
05-09 7342
CART决策树又称分类回归树，当数据集的因变量为连续性数值时，该树算法就是一个回归树，可以用叶节点观察的均值作为预测值；当数据集的因变量为离散型数值时，该树算法就是一个分类树，可以很好的解决分类问题。但需要注意的是，该算法是一个二叉树，即每一个非叶节点只能引伸出两个分支，所以当某个非叶节点是多水平(2个以上)的离散变量时，该变量就有可能被多次使用。在sklearn中我们可以用来提高决策树泛化能力的...
17、机器学习中的多种回归与决策树模型
tensor9flow的博客
11-06 24
本文深入探讨了机器学习中的多种回归与决策树模型，涵盖正则化技术（如岭回归和套索回归）以防止过拟合，介绍逻辑回归在分类问题中的应用及其梯度优化方法，并简述支持向量机的核技巧与分离超平面思想。文章重点分析了决策树的构建、优势与过拟合挑战，提出剪枝和随机森林等应对策略，最后提供了模型选择指南与评估指标，包括准确率、召回率和F1-score，帮助读者根据数据特征选择合适模型并提升泛化能力。
经典算法详解--CART分类决策树、回归树和模型树
热门推荐
jiede1的博客
07-24 5万+
Classification And Regression Tree(CART)是一种很重要的机器学习算法，既可以用于创建分类树（Classification Tree），也可以用于创建回归树（Regression Tree），本文介绍了CART用于离散标签分类决策和连续特征回归时的原理。决策树创建过程分析了信息混乱度度量Gini指数、连续和离散特征的特殊处理、连续和离散特征共存时函数的特殊处理和后
决策树 – 回归
sakura_saku的博客
05-04 1582
决策树 – 回归 解决问题 实现基于特征范围的树状遍历的回归。 解决方案 通过寻找样本中最佳的特征以及特征值作为最佳分割点，构建一棵二叉树。选择最佳特征以及特征值的原理就是通过满足函数最小。其实选择的过程本质是对于训练样本的区间的分割，基于区间计算均值，最终区域的样本均值即为预测值。 在预测的时候，将会根据提供的样本的特征，来遍历二叉树（确定区域的过程），其中叶子节点的值就是预测值。 构建回归决策树，过程，其实可以理解对训练样本进行监督式聚类，每个分类都是有一组特征逻辑范围做描述；预测的时候，其实就是在匹配
利用决策树求解回归问题
02-09
利用决策树求解回归问题，比较不同的depth下，决策树的效果
决策树回归解决问题
qq_47224223的博客
04-25 585
决策树解决回归问题 如果输出是一个具体的数,这就是一一个回归问题，相应的一一个新的样本点到了决策树之后，使用决策树以后到达叶子 节点中，就可以用叶子节点中相应的数据输出值的平均值来作为预测的结果 具体实现(在notebook中) 加载好需要的类库，使用波士顿房价这个数据集，对数据集进行训练数据集和测试数据集的分类 调用DecisionTreeRegressor类即可，使用默认的构造参数,创建好以后对数据集进行训练 调用DecisionTreeRegressor类即可，使用默认的构造参数,创建好以后对数据..
matlab决策树回归分析,决策树回归模型（Decision Tree - Regression）
weixin_29487179的博客
03-18 1784
DecisionTree - RegressionDecision tree buildsregression or classification models in the form of a treestructure. It brakes down a dataset into smaller and smallersubsets while at the same time an asso...
Decision_Tree && Regression Tree
weixin_33994444的博客
07-28 190
2019独角兽企业重金招聘Python工程师标准>>> ...
Decision Tree Regression决策回归树原理与代码实现，并与MLP进行对比（Pytorch）， sklearn，numpy（超级详细，0基础！）
m0_62716099的博客
08-13 1965
今天我们继续学习决策树，对于决策树中的回归树，我们进行原理的讲解与案例的实现，与此同时，我复习了一下MLP的Pytorch实现，其中并没有调用太多的库函数，大家应该也能看懂。我们对比一下两个模型的效果，发现对于非线性的拟合，神经网络的效果还是明显优于决策树。
决策树回归（概念+实例）
weixin_47151388的博客
04-29 1万+
决策树回归（Decision Tree Regression）是一种常用的机器学习算法，用于预测连续型变量的取值。它基于树结构来对数据进行建模和预测，通过将数据集划分为不同的区域，并在每个区域内预测一个常数值来实现回归任务。在本文中，我将详细介绍决策树回归的原理、构建过程、优缺点以及应用场景。
数据处理和分析之分类算法：决策树(DecisionTrees)：决策树在回归问题中的应用
2401_87715305的博客
09-30 835
决策树是一种监督学习算法，用于分类和回归任务。它通过树状结构表示决策规则，其中每个内部节点表示一个特征上的测试，每个分支代表一个测试结果，而每个叶节点代表一个类别（分类任务）或一个数值（回归任务）。决策树易于理解和实现，其历史可以追溯到20世纪60年代，但直到80年代，随着ID3算法的提出，决策树才在机器学习领域得到广泛应用。随后，C4.5和CART算法进一步改进了决策树的构建和性能。
将决策树用于回归
芳樽里的歌的博客
07-12 2648
如何利用决策树进行回归
回归树
壮壮不太胖的学习笔记
06-01 4550
回归树，就是用树模型做回归问题，每一片叶子都输出一个预测值。预测值一般是叶子结点所含训练集输出的均值。 回归树的分支标准：标准方差（Standard Deviation）。 回归树使用某一特征将原集合分为多个子集，用标准方差衡量子集中的元素是否接近，越小表示越接近。 首先计算根节点标准方差： 使用标准方差来确定分支，以计算Outlook分支后的标准方差为例： 同理可计算其他特征的标准差，并得到方差的减小值： 标准差降低最多的特征是Outlook，利用其进行分支。 接下来，重复这个过程，使用标准方差
Adaboost回归模型与其他回归模型（如线性回归、决策树回归）相比有哪些优缺点？
最新发布
12-12
### 与线性回归相比 #### 优点 - **非线性拟合能力**：线性回归假定因变量和自变量之间存在线性关系，只能处理线性可分的数据。而Adaboost回归模型可以通过组合多个弱回归器，对复杂的非线性关系进行建模。例如在处理具有复杂曲线特征的数据时，Adaboost回归能更好地拟合数据，而线性回归可能无法准确捕捉数据的变化趋势。 - **特征适应性**：Adaboost在迭代过程中会自动调整样本权重，使得模型更加关注那些难以拟合的样本。这意味着它能更好地适应不同特征对目标变量的影响，而线性回归对所有特征的处理相对固定，可能会受到一些无关特征或噪声的干扰。 #### 缺点 - **可解释性差**：线性回归的模型参数具有明确的实际意义，能够清晰地表示每个自变量对因变量的影响程度，可解释性强。Adaboost回归模型是由多个弱回归器组合而成，其最终的决策过程较为复杂，很难直观地解释每个特征对预测结果的具体影响。 - **计算复杂度高**：线性回归的计算过程主要是求解方程组，计算量相对较小，尤其是在处理大规模数据时，计算效率较高。Adaboost回归需要迭代训练多个弱回归器，并且每次迭代都需要调整样本权重，计算复杂度较高，训练时间较长。 ### 与决策树回归相比 #### 优点 - **抗过拟合能力强**：单棵决策树容易过拟合，尤其是在树的深度较大时，会对训练数据中的噪声和异常值过于敏感，导致在测试集上的泛化性能较差。Adaboost回归通过组合多个弱决策树（弱回归器），并对每个弱回归器的结果进行加权组合，能够有效地降低模型的方差，提高模型的泛化能力，减少过拟合的风险。 - **精度更高**：Adaboost回归在训练过程中，会根据每个弱回归器的表现调整样本的权重，使得后续的弱回归器更加关注那些之前被错误预测的样本。通过这种方式，Adaboost能够逐步提高模型的预测精度，相比单棵决策树回归，通常能得到更准确的预测结果。 #### 缺点 - **模型复杂度难以控制**：决策树回归可以方便地通过控制树的深度、叶子节点数等参数来控制模型的复杂度。Adaboost回归的模型复杂度与弱回归器的数量、类型以及组合方式等多个因素有关，很难直接对其进行精确控制。如果超参数选择不当，可能会导致模型过拟合或欠拟合。 - **对异常值更敏感**：决策树在划分节点时会考虑样本的整体分布，对异常值有一定的鲁棒性。Adaboost回归在迭代过程中会加大对错误样本的权重，异常值可能会被错误地识别为难以拟合的样本，从而在后续的训练中得到更高的权重，对模型的训练结果产生较大影响。 ```python from sklearn.datasets import make_regression from sklearn.model_selection import train_test_split from sklearn.linear_model import LinearRegression from sklearn.tree import DecisionTreeRegressor from sklearn.ensemble import AdaBoostRegressor from sklearn.metrics import mean_squared_error # 生成示例数据 X, y = make_regression(n_samples=1000, n_features=10, noise=0.1, random_state=42) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 线性回归 lr = LinearRegression() lr.fit(X_train, y_train) lr_pred = lr.predict(X_test) lr_mse = mean_squared_error(y_test, lr_pred) # 决策树回归 dt = DecisionTreeRegressor(random_state=42) dt.fit(X_train, y_train) dt_pred = dt.predict(X_test) dt_mse = mean_squared_error(y_test, dt_pred) # Adaboost回归 ada = AdaBoostRegressor(random_state=42) ada.fit(X_train, y_train) ada_pred = ada.predict(X_test) ada_mse = mean_squared_error(y_test, ada_pred) print(f"线性回归均方误差: {lr_mse}") print(f"决策树回归均方误差: {dt_mse}") print(f"Adaboost回归均方误差: {ada_mse}") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值