【机器学习】提升树，GBDT、Xgboost详解介绍

最新推荐文章于 2025-06-26 12:02:12 发布
最新推荐文章于 2025-06-26 12:02:12 发布
阅读量276 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 提升树 GBDT XgBoost bagging boosting
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_32806793/article/details/87884702
本文为学习李航《统计机器学习》一书的个人笔记总结，涵盖统计学习理论的基础概念、模型及算法，适合初学者及有经验的数据科学家参考。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是我在阅读李航的《统计机器学习》中的笔记，和网上搜集的资料，主要是为了学习，如有侵权，请联系我删除

在这里插入图片描述

机器学习分类算法之XGBoost（集成学习算法）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
02-14 10万+
目录 走进XGBoost 什么是XGBoost？ XGBoost树的定义 XGBoost核心算法 正则项：树的复杂程度 XGBoost与GBDT有什么不同 XGBoost需要注意的点 XGBoost重要参数详解 调参步骤及思想 XGBoost代码案例 相关性分析 n_estimators（学习曲线） max_depth（学习曲线） 调整max_depth 和min_child_weight 调整gamma 调整subsample 和colsample_bytree 调整正则
机器学习GBDT, XGBoost, LightGBM对比
sanjianjixiang的博客
12-17 2392
一. 梯度提升决策树GBDT GBDT(Gradient Boosting Decision Tree)的核心在于: 每一棵树学的是之前所有树结论和的残差(负梯度)，这个残差就是一个加预测值后能得真实值的累加量。 在分类问题中，GBDT的损失函数跟逻辑回归一样，采用的对数似然函数。 在回归问题中，GBDT采用最小化误差平方(ls)。在每一个叶子节点都会得到一个预测值，该预测值等于属于这个节点的所有...
集成学习——Boosting之提升树（Boosting tree）、梯度提升树（GBDT）、XGBoost
人之初，性贪婪
07-16 5438
提升树是以回归树为基本分类器的提升方法。以决策树为基函数的提升方法称为提升树（boosting tree）。对分类问题决策树是分类树，对回归问题决策树为回归树。首先定义决策树用公式表示。 提升树算法： 1．首先确定初始提升树； 2．第二个提升树 第三个提升树 ……推出： 3．回忆一下CART回归树，它是采用平方误差损失函数最小来决定最佳分类点，，CART的优化模型为，就是这个最佳分类点...
经典机器学习模型(八)梯度提升树GBDT详解
热门推荐
qq_44665283的博客
04-09 1万+
经典机器学习模型(八)梯度提升树GBDT详解
机器学习模型——GBDT和Xgboost
qq_60688380的博客
04-08 1847
GBDT（Gradient Boosting Decision Tree，简称GBDT）梯度提升决策树，是Gradient Boost 框架下使用较多的一种模型，且在GBDT中，其基学习器是分类回归树也就是CART，且使用的是GBDT这个算法还有一些其他的名字, MART（Multiple Additive Regression Tree)，GBRT（Gradient Boost Regression Tree)，Tree Net，Treelink等。
集成学习 Adaboost 提升树 GBDT Xgboost Blending Stacking
拾遗
09-19 663
目录 1. Adaboost 2. 提升树(boosting tree) 3.梯度提升决策树（GBDT） 4. Xgboost 5. Bagging 和 随机森林 RandomForest 6. GBDT 和 RandomForest的区别 7.xgboost，RF，LR优缺点场景 Blending Stacking 集成学习 集成学习，是指构建并结合多个学习器来完成学习...
【机器学习第二期（Python）】优化梯度提升决策树 XGBoost
最新发布
WW、forever的博客
06-26 973
【机器学习第二期（Python）】优化梯度提升决策树 XGBoost
梯度提升决策树（GBDT）与XGBoost、LightGBM
kyle1314608的博客
06-03 1464
今天是周末，之前给自己定了一个小目标：每周都要写一篇博客，不管是关于什么内容的都行，关键在于总结和思考，今天我选的主题是梯度提升树的一些方法，主要从这些方法的原理以及实现过程入手讲解这个问题。 本文按照这些方法出现的先后顺序叙述。 GBDT 梯度提升树实在提升树的基础上发展而来的一种使用范围更广的方法，当处理回归问题时，提升树可以看作是梯度提升树的特例(分类问题时是不是特例？)。 ...
机器学习原理之 -- XGboost原理详解
wodertianna的博客
07-06 2715
XGBoost（eXtreme Gradient Boosting）是近年来在数据科学和机器学习领域中广受欢迎的集成学习算法。它在多个数据科学竞赛中表现出色，被广泛应用于各种机器学习任务。本文将详细介绍XGBoost的由来、基本原理、算法细节、优缺点及应用场景。
gbdt和xgboost算法详解
01-24
GBDT（Gradient Boosting Decision Tree）和XGBoost是集成学习中的提升树算法，广泛用于分类和回归问题。这两种算法都基于梯度提升的思想，通过迭代地增加新模型来改进模型的性能。在详细解释这些算法之前，首先需要...
机器学习XGBoost算法原理详解及Python实现
05-04
XGBoost是一种基于梯度提升框架的机器学习算法，通过迭代地训练一系列决策树来构建模型。它利用二阶导数信息优化损失函数，并加入正则化项防止过拟合，从而提高模型的泛化能力和收敛速度。文章详细解释了XGBoost的...
GBDT与XGBOOST详解：机器学习中的提升方法
"这篇博客主要总结了机器学习中的两种重要算法——GBDT（Gradient Boosting Decision Tree）和XGBOOST，这两种算法都是基于加法模型和前向分布算法的提升方法。作者通过介绍前向分布算法的核心思想，阐述了如何通过...
【机器学习】几种常见的概率分布
UESTC_201722的博客
08-10 4387
之前你已经了解概率的基础知识（如果还不知道概率能干啥，在生活中有哪些应用的例子，可以看我这个：人工智能时代，用概率思维发现人生机会​www.zhihu.com今天我们来聊聊几种特殊的概率分布。这个知识目前来看，还没有人令我满意的答案，因为其他人多数是在举数学推导公式。我这个人是最讨厌数学公式的，但是这并不妨碍我用统计概率思维做很多事情。相比熟悉公式，我更想知道学的这个知识能用到什么地方。可惜，还没...
【机器学习】分类时，为什么不使用均方误差而是使用交叉熵作为损失函数
UESTC_201722的博客
05-23 3901
MSE对于每一个输出的结果都非常看重，而交叉熵只对正确分类的结果看重 当MSE和交叉熵同时应用到多分类场景下时，（标签的值为1时表示属于此分类，标签值为0时表示不属于此分类），**MSE对于每一个输出的结果都非常看重**，**而交叉熵只对正确分类的结果看重**。例如：在一个三分类模型中，模型的输出结果为（a,b,c)，而真实的输出结果为(1,0,0)，那么MSE与cross-entropy相对应的...
特征缩放和标准化
UESTC_201722的博客
10-13 2860
首先简单讲一下:其实我觉得这两个本质上是一样的 看了好多博客和论坛 发现每个人讲的都不一样,我直接去英文维基百科 特征缩放上查了Feature scaling 和 英文维基百科 标准化 才基本上明白 博客的最后 我会特别说一下 吴恩达老师在讲解PCA的时候 说的 均值标准化和特征缩放 这里直接翻译过来 特征缩放 目的 由于原始数据的值范围变化很​​大，在一些机器学习算法中，如果没有标准化，目标函...
[机器学习] 神经网络-各大主流激活函数-优缺点
UESTC_201722的博客
12-29 2821
激活函数为什么要使用激活函数常用激活函数说明==sigmoid==优缺点优点缺点==tanh==优缺点优点缺点==ReLu==优缺点优点缺点==简单介绍Leakly ReLU函数====简单介绍ELU函数==参考说明 为什么要使用激活函数 在深度学习中，信号从一个神经元传入到下一层神经元之前是通过线性加权和来计算的，而进入下一层神经元需要经过非线性的激活函数，继续往下传递，如此循环下去。由于这些...
【深度学习】beam search过程以及优缺点
UESTC_201722的博客
07-29 2811
beamsearch 的过程 Beamseach 是我们在生成任务中常用的技术，它是在测试的时候使用。 过程： 假设我们的单词表大小为50，我们设置的beam_size为5 在生成第一个单词的时候，选择概率最大的5个单词，假设为a,b,c,d,e 在生成第二个单词的时候，我们将第一步生成的5个单词和单词表中的每个单词进行组合，我们将得到5*50中组合，在这些组合中选择概率最高的5个 重复上述过程，...
【深度学习】逻辑回归损失函数如果用平方损失有什么问题
UESTC_201722的博客
09-06 2309
特别无奈 逻辑回归的损失函数为啥是交叉熵 我的另一篇博客：逻辑回归为什么使用对数损失函数 逻辑回归为啥不用平方损失 原因很简单：就是会出现梯度消失问题，至于为啥看下面的这个推导（我真是无语！），其他的真的没啥说的了 ...
【机器学习】逻辑回归为什么使用对数损失函数
UESTC_201722的博客
08-09 1981
reference 来自这位大佬
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值