GBDT 原理推导+sklearn参数解释

最新推荐文章于 2025-03-19 10:19:02 发布
最新推荐文章于 2025-03-19 10:19:02 发布
阅读量1.1k 收藏 5
点赞数
分类专栏： 模型综述 文章标签： GBDT sklearn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36303521/article/details/88094842
版权
本文详细介绍了GBDT（梯度提升决策树）算法，从Adaboost算法出发，探讨前向分步算法，展示了二分类和回归问题的解决方式。接着，文章深入讲解了GBDT的优缺点和正则化方法。此外，重点阐述了在sklearn中GBDT的参数设置，包括boosting和决策树参数，如n_estimators、learning_rate、subsample等，帮助理解并优化模型性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

adaboost算法

adaboost是boosting方法中的一种，主要思想是提高分类错误的样本的权值，降低分类正确样本的权值。这样做的方法存在两个问题

第一，如何更新样本权值
第二，如何组合成一个强分类器

带着这些问题来看算法的具体步骤：
输入：训练集数据；以及弱学习算法
输出：强分类器
1.初始化训练数据的权值
在这里设为1/N
2.遍历1-m
a.使用具有权值分布的训练数据训练分类器
b.计算该分类器的分类误差
Em
c.计算该分类器的系数（权重）
在这里插入图片描述
在这个系数的构建就可以看出其分类器的系数与分类正确率正相关。分类越正确那么该分类器的权重越高。
d.更新数据集的权重
在这里插入图片描述
更新w的过程就是，构造一个函数使得分类错误的样本权重更大并且使得权重标准化
3.弱分类器线性组合成强分类器
在这里插入图片描述

前向分步算法

考虑一个加法模型有：
在这里插入图片描述
那么给定一个损失函数L()
最小化损失函数
在这里插入图片描述
由于学习的是加法模型
可以每次只学习一个基函数以及其系数，慢慢减少误差。那么每步只需要对一个基函数进行优化，从而减少大量的计算：
在这里插入图片描述
说完总体思路来看看其具体算法：
输入：训练集，损失函数，基函数集
输出：加法模型
1.初始化加法模型等于0
2.遍历1-M
a.极小化损失函数在这里插入图片描述
得到参数beta和yita
b

最低0.47元/天 解锁文章
GBDT的模型评估与超参数调整
AI天才研究院
07-28 420
GBDT的模型评估与超参数调整 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：GBDT, 模型评估, 超参数调整, 决策树, 算法优化 1. 背景介绍 1.1
gbdt 回归 特征重要性 排序_GBDT算法原理及应用
weixin_39778003的博客
11-22 3140
是新朋友吗？记得先点蓝字关注我哦～作者介绍知乎@王多鱼京东的一名推荐算法攻城狮。主要负责商品推荐的召回和排序模型的优化工作。一、GBDT算法原理Gradient Boosting Decision Tree(GBDT)是梯度提升决策树。GBDT模型所输出的结果是由其包含的若干棵决策树累加而成，每一棵决策树都是对之前决策树组合预测残差的拟合，是对之前模型结果的一种“修正”。梯度提升树既可以用于回归问...
sklearn之adaboost
好好学习,天天向上的博客
08-09 2305
集成学习(Esemable learning)就是将若干个弱分类器通过一定的策略组合以后产生一个强分类器。弱分类器(也称基分类器)就是比随机猜测效果稍微好一点的分类器，而强分类器的分类效果要号很多。强和弱都是相对概念。 目前集成学习算法主要有两个流派：bagging(装袋),boosting(提升) bagging主要是通过降低弱分类器的方差，代表方法是随机森立。是根据均匀概率分布从样本集中重复抽...
GBDT 算法的原理推导
彬彬侠的博客
11-01 1515
GBDT的全称为梯度提升决策树（gradient boosting decision tree），本文通过详细的数学公式变换做了算法的原理推导。
【机器学习-29】Adaboost
m0_69378371的博客
02-13 810
AdaBoost（Adaptive Boosting）是一种经典的集成学习算法，它通过结合多个弱分类器（通常是简单的模型），形成一个强分类器。AdaBoost的目标是通过关注和调整那些被前一个弱分类器误分类的样本，从而不断提升模型的性能。AdaBoost的核心思想是通过迭代训练弱分类器，并逐步调整样本的权重，以使后续分类器更多地关注之前分类错误的样本。最终，将多个弱分类器的预测结果加权集成起来，形成一个强分类器。
gbdt推导
weixin_41529389的博客
11-03 155
gbdt推导
GBDT算法原理
Rnan_prince的博客
08-26 1万+
一、基础知识 1.泰勒级数展开 2.梯度下降法 3.牛顿法 4.从参数空间到函数空间 二、GBDT 1 .DT：回归树 Regression Decision Tree 5.GBDT 适用范围 2. GB：梯度迭代 Gradient Boosting ...
Sklearn 集成学习
m0_68828538的博客
04-10 1746
常见的集成学习： Boosting Bagging Stacking ...... 集成学习概念 集成学习是将多个模型放在一起，通过某种方式将其组合起来，从而得到一个统一的预测模型。自然地，在集成之前就要有基本的模型用于集成。目前所用的集成学习模式主要分为两种： 采用同一基模型，在样本的不同子集上进行训练，从而得到对应的多个不同的具体模型。这类学习方法的代表就是boosting, bagging。 采用多种基模型，在同一样本上进行训练，将多个模型组合起来得到具体模型。voting和stacki
xgboost 原论文精读 原理推导 + sklearn参数讲解
lianyhai
03-05 543
梯度提升树 现在站在大神的角度来回顾一下梯度提升树 正则化的目标函数 给定训练集D，含有n个样本m个特征 一个含有k棵树的集成模型 F当然就是回归决策树的空间啦。q是每棵树的结构，T是每个树的叶子数量。每棵树都有独立的树结构q以及叶子权重w。不同于决策树，每个回归树的叶子都包含了一个连续的分数，我们使用w同表示这个叶子的分数。举个例子来说，我们将使用给定树的决策规则来分类为叶子。那么最终的预测...
GBDT原理与Sklearn源码分析-分类篇
热门推荐
SCUT_Sam
01-29 2万+
摘要： 继上一篇文章，介绍完回归任务下的GBDT后，这篇文章将介绍在分类任务下的GBDT，大家将可以看到，对于回归和分类，其实GBDT过程简直就是一模一样的。如果说最大的不同的话，那就是在于由于loss function不同而引起的初始化不同、叶子节点取值不同。 正文： GB的一些基本原理都已经在上文中介绍了，下面直接进入正题。 下面是分类任务的GBDT算法过程，其中选用的loss f...
sklearn之集成学习
m0_57957153的博客
07-18 456
主要实战了sklearn提供的一些集成学习接口，适合有一定理论基础，想要实战的uu阅读。
集成学习--sklearn
qq_48566899的博客
05-27 312
集成算法 投票法 1.少数服从多数 2.多模型一致（硬投票） 3.更高把握（置信度）原则，以最高执行度的模型预测结果为准 4.把握程度汇总进行投票（软投票） 基于多个优化模型的投票分类器sklearn.ensemble.VotingClassifier from sklearn.ensemble import VotingClassifier # 导入投票分类器 from sklearn.datasets import load_iris # 导入训练数据集 iris=load_iris() 构建若
【sklearn】AdaBoost
烦成航的博客
08-12 1078
AdaBoost
sklearn-adaboost
weixin_30301183的博客
04-18 227
sklearn中实现了adaboost分类和回归，即AdaBoostClassifier和AdaBoostRegressor， AdaBoostClassifier 实现了两种方法，即 SAMME 和 SAMME.R AdaBoostRegressor 用的 Adaboost.R2 框架参数 分类与回归框架参数基本相同 base_estimator：基学习器，默认是car...
【机器学习sklearn】集成学习（Ensemble Learning）
Aoyama的博客
12-30 3081
集成学习（ensemble learning）通过构建并结合多个学习器来完成任务，也可以称为“多分类器系统”（multi-classifier system）、“基于委员会学习”（committee-based learning）等。
机器学习_sklearn-集成学习（1）
RL小站
11-04 490
集成学习的目的是同个几个若分类器以提升或者并行投票的方式得到一个强的集成分类器。 一、简单集成 可以用 moons 数据集制造数据对这个数据分别用Logistic 、decisionTree 和 svm 进行分类， 再用VotingClassifier 集成这几个分类器 用 make_moons 生成随机数据后： def Vot_clf(voting_type): log_clf = Lo...
Machine Learning——sklearn系列（五）——集成学习
wa1tzy的博客
07-09 968
文章目录一、集成学习二、bagging2.1 基本描述 一、集成学习 多个小模型，通过最后的决策算法来决定最后的结果。 集成方法常分为两类： （1）averging methods：平均法的原则是： 独立的构建几个学习器，然后平均他们的预测。通常，组合的学习器要比任何一个单个的学习器要好，因为它降低了方差。 其中的代表：bagging 方法，随即森林 （2）boosting methods：学习器依次构建（递进方法），试图降低组合的学习器的偏差。
【scikit-learn】sklearn.ensemble 模块： 集成学习（Ensemble Learning）
最新发布
彬彬侠的博客
03-19 376
sklearn.ensemble提供了集成学习（Ensemble Learning）模型，结合多个弱模型提高预测性能、减少过拟合，适用于分类、回归和异常检测。sklearn.ensemble提供了Bagging、Boosting、Stacking等集成学习方法，可以有效提高模型性能，减少过拟合。
sklearn——AdaBoost应用
樱缘之梦
04-28 986
选自《python大战机器学习》
sklearn中的GBDT分类算法详解与应用
资源摘要信息:"GBDT.zip_GBDT_sklearn_分类算法_提升树_梯度提升决策树" GBDT（Gradient Boosting Decision Tree）即梯度提升决策树，是一种基于决策树算法的集成学习方法。它通过构造多棵决策树，并将这些树组合...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值