CART回归树和GBDT

最新推荐文章于 2025-10-14 09:51:16 发布
原创 最新推荐文章于 2025-10-14 09:51:16 发布 · 3.8k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了CART回归树的选择特征方法，基于平方误差最小化的策略进行数据切分。接着详细阐述了GBDT（Gradient Boosting Decision Tree）的工作原理，包括回归树、梯度迭代和Shrinkage的概念，并通过实例解释了GBDT如何通过多棵树的迭代来逐步逼近真实值，降低过拟合风险。

CART 分为回归树和决策树。这里重点讲讲回归树的特征选择。

回归树选择特征的方法是：平方误差最小化。

具体步骤为：

1）依次遍历每个特征j，以及该特征的每个取值s，计算每个切分点（j,s）的损失函数，选择损失函数最小的切分点。



其中c1,c2分别为R1,R2区间内的输出平均值。

2）使用上步得到的切分点将当前的输入空间划分为两个部分

3）然后将被划分后的两个部分再次计算切分点，依次类推，直到不能继续划分。

4）最后将输入空间划分为M个区域R1,R2,…,RM,生成的决策树为：


其中cm为所在区域的输出值的平均值

最低0.47元/天 解锁文章
ZhikangFu
关注
CART/GBDT
betterzl的博客
12-08 755
目录CART（Classification And Regression Tree） CART（Classification And Regression Tree） CART是决策树的一种，并且是非常重要的决策树。顾名思义，CART算法既可以用于创建分类树（Classification Tree），也可以用于创建回归树（Regression Tree）、模型树（Model Tree），两者在建树的过程稍有差异。CART是二叉树。 1、CART作为分类树 CART作为分类树时，特征属性可以是连续类型也可以是
CART回归树--决策树
ǫɪ ԃα√‘的博客
01-28 1623
决策树的关键问题 这么多特征，使用哪个特征先进行子表划分? CART回归树 原始数据集S，此时树的深度depth=0; 针对集合S，遍历每一个特征的每一个value, 用该value将原数据集S分裂成2个集合:左集合left(<=value的样本)、右集合right(>value的样本)，分别计算这2个集合的mse，找到使(left_mse+right_mse)）最小的那个value，记录下此时的特征名称和value，这个就是最佳分割特征以及最佳分割值; 找到最佳分割特征以及最佳分割valu
解密NLP：从入门到精通
渣渣盟的博客
10-14 3221
自然语言处理（NLP）是计算机科学与人工智能的重要交叉领域，主要研究人机自然语言交互的理论与方法。其核心应用包括机器翻译、情感分析、信息抽取、问答系统等，基础技术涵盖分词、词性标注、句法分析等。NLTK是Python常用的NLP工具包，提供丰富的语料库和文本处理功能。本文重点介绍了字符串处理技术，包括清理替换（strip/replace）、截取、连接分割（join/split）、比较排序（sorted）以及查找（index）等操作，通过代码示例展示了具体实现方法。这些基础技术为后续NLP任务提供了必要的文本
机器学习之分类回归树（CART）
热门推荐
qq_38375203的博客
05-09 1万+
前言 写这一章本来是想来介绍GBDT-LR这一个推荐模型的。但是这里面就涉及到了很多机器学习的基础树形算法，思前想后还是决定分成几篇文章来写，这里先介绍一下CART数，因为在GBDT中用来分类回归的树形结构就是CART，为了更好的理解这个推荐模型，首选需要的就是打好基础，介绍完CART之后，我就会介绍XGBoost等一些集成学习的东西，然后就是GBDT，当然了还有Xgboost。的确是一个大家族啊，当然了这些并不是全部的东西，还有LightGBM、catboost这几大巨头算法。这些之后再介绍吧。 一、
【CART与GBDT】
weixin_30745641的博客
07-26 303
一、CART（分类回归树） 1.思想： 一种采用基尼信息增益作为划分属性的二叉决策树。基尼指数越小，表示纯度越高。 2.回归： 每个节点都有一个预测值，预测值等于属于该节点的所有样例的平均值，分支时，选择每个属性的每个阈值的最好分割点，衡量的标准是最小化均方差。 训练：对训练样本的第i（1<=i<=n）个属性,穷举每个分割点，找到均方差最...
CART分类与回归树与GBDT(Gradient Boost Decision Tree)
weixin_30338481的博客
11-26 478
一、CART分类与回归树 资料转载： http://dataunion.org/5771.html Classification And Regression Tree(CART)是决策树的一种，并且是非常重要的决策树，属于Top Ten Machine Learning Algorithm。顾名思义，CART算法既可以用于创建分类树（Classification T...
集成学习终篇：从CART回归树开始，经历BDT、GBDT彻底理解XGBoost - 知乎1
08-03
在本篇中，我们从CART回归树开始，逐步深入到Boosting算法，特别是Gradient Boosting Decision Tree (GBDT)以及XGBoost，探讨它们的原理、流程和差异。 CART回归树是一种决策树模型，主要用于连续值的预测。它通过...
CART，回归树，GBDT，XGBoost，LightGBM一路理解过来
数据分析之路
09-25 5984
CART，回归树，GBDT，XGBoost，LightGBM CART： 根据特征的阈值 把叶子节点的类别归为离散的类别   XGBoost的四大改进: ①改进残差函数 不用Gini作为残差，用二阶泰勒展开+树的复杂度（正则项） 带来如下好处： 1.可以控制树的复杂度 2.带有关于梯
梯度提升树(GBDT)完整教程 V1.1 发布1
08-03
在GBDT中，无论处理回归还是分类问题，都使用CART回归树。这是因为GBDT的目标是拟合梯度，而梯度是连续值，回归树更适合处理连续数值。CART回归树通过最小化平方误差来确定最佳分割点，以最大程度地减少预测误差。 ...
CART回归树
weixin_34220834的博客
03-26 204
决策树算法原理(ID3，C4.5) 决策树算法原理(CART分类树) 决策树的剪枝 　　CART回归树模型表达式： 　　其中，数据空间被划分为R1~Rm单元，每个单元有一个固定的输出值Cm。这样可以计算模型输出值与真实值的误差： 　　希望每个单元上的Cm，可以使平方误差最小化，易知当Cm为相应单元上所有实际值的均值时，达到最优： 　　如何生成这些被划分的单元？ ...
CART树回归
ggwcr的博客
10-07 997
基于树的回归算法是一类基于局部的回归算法，通过将数据集切分成多份，在每一份数据中单独建模。与局部加权线性回归不同的是，基于树回归的算法是一种基于参数学习的算法，利用训练数据训练完模型后，参数一定确定，无需再改变。分类回归树(Classification And Regression Tree,CART)算法是使用比较多的一种树模型，CART算法既可以解决分类问题也可以解决回归问题。前面的博客随机森林
cart树回归
manjhOK的博客
07-13 436
树回归切分伪代码如果数据集中目标变量只有一种： 不进行后续切分，直接将此数据集构建为叶节点 对每个特征： 对每个特征值： 将数据集切分为两份 计算切分后两个子数据集的误差和 如果此误差和小于当前最小误差： 将当前切分设定为最佳切分并更新最小误差 如果数据集上的误差和当前最小误差之间没有达到设定的容许误差下降值： 不进行后续切分，直接将此数据集构建为叶节点 如...
CART算法之回归树
blinkyou001的博客
11-28 1033
本文详细介绍了CART回归算法的原理。
回归树--CART
华夏35度
01-03 4699
CART的全称是Classification And Regression Tree，于1984年由Breiman等人提出，顾名思义它可用于分类和回归，本文只讲它在回归上的应用。 对于回归树有要这么几点认识： 可以捕获Y对Xi的依赖性，上图的结果显示Y对X7和X8没有依赖。也可以充实我们对自变量之间关系的认识。树的形式简洁、高效。节点的每次分裂都把原样本空间划分为互不相交的两个
决策树算法原理(CART分类树)
weixin_34029680的博客
03-20 732
决策树算法原理(ID3，C4.5) CART回归树 决策树的剪枝 　　 　　在决策树算法原理(ID3，C4.5)中，提到C4.5的不足，比如模型是用较为复杂的熵来度量，使用了相对较为复杂的多叉树，只能处理分类不能处理回归。对这些问题，CART(Classification And Regression Tree)做了改进，可以处理分类，也可以处理回归。 1. CART分类树...
CART树（分类回归树）
gyq423的博客
08-28 3987
主要内容 （1）CART树简介 （2）CART树节点分裂规则 （3）剪枝 --------------------------------------------------------------------------------------------------------------------- 一、简介 CART分类回归树是一种典型的二叉决策树，可以做分类或者回归。若预测...
机器学习——CART回归树
阿鹏的摇滚小站
03-09 356
一. 回归树 注意：CART做分类时代价函数是基尼指数，做回归时代价函数时均方差函数 import numpy as np import matplotlib.pyplot as plt from sklearn.tree import DecisionTreeRegressor from sklearn import linear_model # Data set x = np.array...
Cart回归树
最新发布
10-30
### 原理 分类与回归树（classification and regression tree, CART）模型由 Beriman 等人在 1984 年提出，CART 回归树是 CART 模型用于回归任务的部分。CART 同样由特征选择、树的生成及剪枝组成。在回归问题中，CART 回归树通过递归地将特征空间划分为多个不重叠的区域，每个区域对应一个预测值。划分的依据通常是最小化均方误差（MSE），即找到一个特征和该特征上的一个分割点，使得划分后的两个子区域内样本的目标值与子区域内样本目标值均值的误差平方和最小。通过不断重复这个划分过程，直到满足停止条件，如达到最大深度、节点样本数小于某个阈值等 [^1]。 ### 应用 CART 回归树被广泛应用，且被用于树的集成模型，例如，GBDT、RF 等集成算法的基学习器都是 CART 树。由于决策树是典型的非线性模型，GBDT 和 RF 因此也是非线性模型。在实际应用中，CART 回归树可用于房价预测、股票价格预测、销售量预测等回归问题，能够处理非线性关系的数据，并且可以解释每个特征对预测结果的影响 [^2]。 ### 实现方法 以下是一个使用 Python 的`scikit-learn`库实现 CART 回归树的简单示例代码： ```python from sklearn.datasets import make_regression from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeRegressor from sklearn.metrics import mean_squared_error # 生成一些示例数据 X, y = make_regression(n_samples=100, n_features=10, noise=0.1, random_state=42) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 创建 CART 回归树模型 model = DecisionTreeRegressor() # 训练模型 model.fit(X_train, y_train) # 进行预测 y_pred = model.predict(X_test) # 计算均方误差 mse = mean_squared_error(y_test, y_pred) print(f"均方误差: {mse}") ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值