RF、GBDT、XGBOOST常见面试算法整理

最新推荐文章于 2025-03-22 17:12:06 发布
最新推荐文章于 2025-03-22 17:12:06 发布
阅读量7.6k 收藏 58
点赞数 5
分类专栏： 算法 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_39303465/article/details/80965484
版权

1、RF与GBDT之间的区别

相同点

  • 都是由多棵树组成
  • 最终的结果都是由对棵树一起决定

不同点

  • 组成随机森林的数可是分类树也可以是回归树，而GBDT只由回归树组成
  • 组成随机森林的数可是并行生成，而GBDT只能是串行生成
  • 随机森林的结果是多棵树表决决定，而GBDT则是多棵树累加之和
  • 随机森林对异常值不敏感，而GBDT对异常值比较敏感
  • 随机森林是通过减少模型的方差来提高性能，而GBDT是减少模型的偏差来提高性能
  • 随机森林不需要进行数据预处理、归一化，而GBDT需要进行特征归一化

2、分类树与回归树的区别

  • 分类树使用信息增益或者增益比率来划分节点；每个节点样本的类别情侣投票决定测试样本的类别
  • 回归树使用最小化均方差划分节点；每个节点样本的均值作为测试样本的回归预测值

3、GBDT的核心

  • GBDT的核心就在于每一棵树都建立在之前所学的所有树的绝了和残差，这个残差就是一个加预测值后能的真实值的累加量

4、XGBOOST和GBDT的区别

  • 传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。节点分裂的方式不同，gbdt是用的gini系数，xgboost是经过优化推导后的.
  • 传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。为什么xgboost要用泰勒展开，优势在哪里？xgboost使用了一阶和二阶偏导, 二阶导数有利于梯度下降的更快更准. 使用泰勒展开取得函数做自变量的二阶导数形式, 可以在不选定损失函数具体形式的情况下, 仅仅依靠输入数据的值就可以进行叶子分裂优化计算, 本质上也就把损失函数的选取和模型算法优化/参数选择分开了. 这种去耦合增加了xgboost的适用性, 使得它按需选取损失函数, 可以用于分类, 也可以用于回归。
  • Xgboost在代价函数里加入了正则项，用于控制模型的复杂度，降低了过拟合的可能性。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。
  • Xgboost工具支持并行。boosting不是一种串行的结构吗?怎么并行的？注意xgboost的并行不是tree粒度的并行，xgboost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。xgboost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），xgboost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。

问题整理

1、 GBDT怎样设置单棵树的停止生长条件？
  • 节点分裂时的最小样本数
  • 树的最大深度
  • 最多叶子结点数
  • Loss满足约束条件
2、 GBDT如何评估特征的权重大小？
  • 通过计算每个特征在训练集下的信息增益，最后计算每个特征信息增益与所有特征信息增益之和的比例为权重值。
  • 借鉴投票机制。用相同的GBDT参数对w每个特征训练出一个模型，然后在该模型下计算每个特征正确分类的个数，最后计算每个特征正确分类的个数与所有正确分类个数之和的比例为权重值。

3、GBDT当增加样本数量时，训练时长是线性增加吗？

  • NO,因为生成单颗决策树时，对于 损失函数极小值与样本数量N不是线性相关

4、当增加树的颗数时，训练时长是线性增加吗？

  • NO，因为每个数的生成时间复杂度O(N)不同

5、当增加一个棵树叶子节点数目时，训练时长是线性增加吗？

  • NO，叶子节点数和每棵树的生成的时间复杂度O(N)不成正比

6、每个节点上都保存什么信息？

  • 中间节点保存某个特征的分割值，叶节点保存预测是某个类别的概率

7、如何防止过拟合？

  • 增加样本，移除噪声
  • 减少特征，保留一些重要的特征
  • 对样本进行采样，就是在构建树的时候，不是把所有的样本都作为输入，而是选择一部分数据作为子集
  • 对特征进行采样化，和对样本采样基本一致，就是在每次建树的时候只对部分的特征进行切分

8、GBDT中哪些部分可以并行?

  • 计算每个样本的负梯度时
  • 分裂挑选最佳特征及其分割点时，对特征计算相应的误差及均值时
  • 更新每个样本的负梯度时
  • 最后预测的过程当中，每个样本将之前的所有树的结果累加的时候

9、树生成畸形树，会带来哪些危害，如何预防？

  • 在生成树的过程中，加入树不平衡的约束条件。这种约束条件可以是用户自定义的。例如对样本集中分到某个节点，而另一个节点的样本很少的情况进行惩罚





Random Forest & GBDT & XGBOOST & LightGBM面试问题整理
AC_kereo的专栏
05-08 1945
一.知识点 二.特征重要性评估     基于树的集成算法有一个很好的特性，就是模型训练结束后可以输出模型所使用的特征的相对重要性，便于理解哪些因素是对预测有关键影响，有效筛选特征。 Random Forest 袋外数据错误率评估 由于RF采用bootstrapping有放回采样, 一个样本不被采样到的概率为 limm→∞(1−1m)...
机器学习高频面试题之---简述GBDT与XGBoost的区别
jackmcgradylee的博客
09-01 1万+
最近校招面试被问到了这个问题，之前也在搜集了一些资料，在此整理一下，贴在这里。一、基本概念GBDT（又称Gradient Boosted Decision Tree/Grdient Boosted Regression Tree），是一种迭代的决策树算法，该算法由多个决策树组成。它最早见于yahoo，后被广泛应用在搜索排序、点击率预估上。xgboost是陈天奇大牛新开发的Boosting库。它是一个
支持向量机（SVM）
最新发布
m0_62410190的博客
03-22 1018
核函数的选择通常取决于数据的特点和问题的性质。设原始空间中的向量为x和z，核函数K(x,z)满足K(x,z)=⟨ϕ(x),ϕ(z)⟩，其中ϕ(x)是将x映射到高维空间的函数，⟨⋅,⋅⟩表示高维空间中的内积。）中的关键概念，它的主要作用是将低维空间中的数据映射到高维空间，使得原本在低维空间中线性不可分的数据在高维空间中变得线性可分，从而可以使用线性分类器进行分类。在小样本数据集上也能有较好的表现，它关注的是支持向量，即对分类起关键作用的少数样本点，而不是整个数据集，所以在样本量有限时也能构建有效的模型。
xgboost知识点总结 - 面试篇
GreatXiang888的博客
08-11 4043
关于xgboost的面试无非分为3大块，xgboost原理，调参，优点 1，原理。可能会要求推公式，细一点会让你比较和CART树有什么区别，然后引出ID3, C4.5,随机森林。（基尼系数和熵怎么算，为什么要用信息增益率） 2，调参。问你lambda，alpha是干什么的，你一般调哪些参数。GridSearchCV怎么和xgboost一起用。 3，优点。最主要的是代价函数的二阶展开，l1,l2正则...
大厂面试机器学习算法（4）提升树模型：GDBT、XGBoost、LightGBM（未完待续）
weixin_44644621的博客
08-20 1689
文章目录Xgboost简介整体介绍计算叶子阶段的权重构建第k棵树的结构常见面试问题如何实现并行？学习率的作用？如何处理缺失值？ Xgboost简介 XGBoost的全称是eXtreme Gradient Boosting，它是经过优化的分布式梯度提升库，旨在高效、灵活且可移植。XGBoost是大规模并行boosting tree的工具，它是目前最快最好的开源 boosting tree工具包，比常见的工具包快10倍以上。 整体介绍 xgboost是集成了K棵树之后的集成模型，如下图所示。 每个样本需要经
大厂常考Xgboost模型面试题
weixin_48003282的博客
04-14 1003
1、简单介绍一下XGBoost 2、XGBoost与GBDT有什么不同 3、XGBoost为什么使用泰勒二阶展开 4、XGBoost防止过拟合的方法 5、XGBoost如何处理缺失值 6、XGBoost如何选择最佳分裂点？ 7、XGBoost如何评价特征的重要性 8、GBDT与Xgboost的区别 9、XGBoost和LightGBM的区别 10、XGBoost模型如果过拟合了怎么解决
31. RF GBDT XGBoost 面试级整理1
08-03
RF GBDT XGBoost 面试级整理1】 集成学习是机器学习领域中的一个重要概念，它通过结合多个弱学习器（基学习器）的预测来提高整体模型的性能和稳定性。RF（随机森林）、GBDT（梯度提升决策树）和XGBoost都是集成...
GBDT、RF、SVM、XGBoost面试要点整理
God_68的博客
08-19 9339
对于经典机器学习算法，是所有从事相关工作者必须了解的，同时也是面试官经常提及的问题。下面我将与大家分享GBDT（Gradient Boosting Decision Tree）、RF（Random Forest）、SVM（Support Vector Machine）、XGBoost四种机器学习算法的面试考核点。若有错误，欢迎大家批评指正！！！ 一、GBDT算法 1、算法简介 GBDT，梯度...
百面机器学习—11.集成学习（GBDT、XGBoost）面试问题总结
柳杰的博客
05-10 2229
文章目录1. 大小为N的样本集进行有放回抽样，样本N次有重复抽取被选中的概率是多少？2.集成学习分为哪几种？它们有何异同？3. 为什么很多集成学习模型都选择决策树作为基分类器？4.什么是偏差与方差？如何从减小方差和偏差的角度解释Boosting和Bagging的原理？4.1 什么是偏差与方差？4.2 如何从减小方差和偏差的角度解释Boosting和Bagging的原理？5.梯度提升树GBDT的基本原理是什么？5.1 为什么可以使用梯度近似代替残差？5.2 二分类问题的GBDT算法5.3 多分类问题的GBDT
20240330-2-XGBoost面试题
qq_24428851的博客
04-21 1276
XGBoostXGBoostXGBoost是大规模、分布式的通用梯度提升(GBDT)库，它在GB框架下实现了GBDT和一些广义线性ML算法。XGBoostXGBoostXGBoost是一种集成学习算法，属于3类常用的集成方法(BaggingBaggingBaggingBoostingBoostingBoostingStackingStackingStacking)中的Boosti。
随机森林（rf） 梯度提升树（gbdt）和xgboost的区别与联系
qq_41853758的博客
09-27 6250
由于本文是基于面试整理，因此不会过多的关注公式和推导，如果希望详细了解算法内容，敬请期待后文。 　　 　　RF、GBDT和XGBoost都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。 　　根据个体学习器的生成方式，目前的集成学习方法大致分为两大类：即个体学习器之间存在强依赖关系、必须串行生成的序列化方法，以及...
随机森林等集成算法高频面试题1
08-08
2. XGBoost所做的改进2.1. 损失函数从平方损失推广到二阶可导的损失GBDT的核心在于后面的树拟合的是前面预测值的残差，这样可以一步步逼近真值 3.为
XGboost算法原理
Jacquelin_1的博客
04-13 854
用到的数学基础：泰勒公式 目标函数 关于目标函数，分开两部分讨论： 损失函数 正则项 损失函数
XGBoost面试级别回顾
兰陵鸡王的博客
03-07 4582
介绍 Xgboost是GB算法的高效实现，xgboost中的基学习器除了可以是CART（gbtree）也可以是线性分类器（gblinear）。 与GBDT不同之处 xgboost在目标函数中显示的加上了正则化项，基学习为CART时，正则化项与树的叶子节点的数量T和叶子节点的值有关。 GB中使用Loss Function对f(x)的一阶导数计算出伪残差用于学习生成fm(x)，xgboost不仅使用...
xgboost常见面试题20道
zlb872551601的博客
12-18 3226
xgboost常见面试题20道 高频面试题 XGB与GBDT、随机森林等模型相比，有什么优缺点？ XGB为什么可以并行训练？ XGB用二阶泰勒展开的优势在哪？ XGB为了防止过拟合，进行了哪些设计？ XGB如何处理缺失值？ XGB如何分裂一个结点？如何选择特征？ XGB中一颗树停止生长的条件有哪些？ XGB叶子结点的权重有什么含义？如何计算？ 训练一个XGB模型...
（十四）通俗易懂理解——GBDT算法原理
热门推荐
qq_36696494的博客
04-09 1万+
这篇看到现在还是有点迷糊，没有完全弄懂，先转载过来自己消化，后续有更浅显易懂的内容再更。 原文文章：https://blog.youkuaiyun.com/google19890102/article/details/51746402 梯度提升决策树（Gradient Boosting Decision Tree，GBDT）算法是近年来被提及比较多的一个算法，这主要得益于其算法的性能，以及该算法在各类数据...
GBDT，xgboot
y_w_s的博客
05-27 581
梯度提升（Gradient boosting）是一种用于回归、分类和排序任务的机器学习技术1，属于Boosting算法族的一部分。Boosting是一族可将弱学习器提升为强学习器的算法，属于集成学习（ensemble learning）的范畴。Boosting方法基于这样一种思想：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断要好。通俗地说，就是“...
GBDT XGBOOST面试题
03-03
### 关于GBDT和XGBoost的面试题目及答案解析 #### 1. GBDT 和 XGBoost 的主要区别是什么？ GBDT (Gradient Boosting Decision Tree) 是一种迭代决策树算法，通过构建一系列弱分类器并逐步减少前一轮预测误差来进行学习。而 XGBoost 则是在 GBDT 基础上做了多项改进： - **正则化项**：XGBoost 显式加入了 L1 和 L2 正则化项来控制模型复杂度，从而提高泛化能力[^1]。 - **目标函数定义更灵活**：除了支持自定义损失函数外，还允许用户指定权重参数调整不同样本的重要性。 - **列采样机制**：类似于随机森林的做法，每次分裂节点时只考虑部分特征子集，有助于降低过拟合风险。 - **处理缺失值策略**：能够自动识别最优分割点位置，即使某些维度含有大量空缺数据也能正常工作。 ```python import xgboost as xgb from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split # 创建模拟二元分类数据集 X, y = make_classification(n_samples=1000, n_features=20, n_informative=2, n_redundant=10, random_state=7) # 将数据分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.25, stratify=y, random_state=78) # 定义DMatrix对象用于加速计算效率 dtrain = xgb.DMatrix(X_train, label=y_train) dtest = xgb.DMatrix(X_test, label=y_test) ``` #### 2. 如何解释 XGBoost 中的目标函数？ XGBoost 的核心在于其独特设计的目标函数形式。该公式不仅包含了传统的加权平方误差成分，更重要的是额外增加了两项惩罚因子——L1 范数（绝对值之和）以及 L2 范数（平方和）。这种设置使得最终得到的结果更加平滑稳定，不容易受到极端异常点的影响[^2]。 具体而言，对于每一个叶子结点 i ，假设当前有 ni 条记录落入其中，则对应的增益 g_i 表达式如下所示: \[ \text{Gain}=\frac{\sum_{i=1}^{n}\left[g_{i}-\bar{g}_{j}\right]}{\lambda+n_{t}}-\gamma \] 这里 gi 表示第 i 个实例对应的一阶导数值；λ 控制着 L2 正则强度大小；γ 决定了最小叶节点数目阈值。 #### 3. 当面对大规模稀疏矩阵作为输入时，为什么说 XGBoost 更适合解决这类问题而不是传统意义上的 GBDT? 这是因为相比于普通的 GBDT 方法，在遇到高维稀疏向量的情况下，XGBoost 展现出了更好的适应性和鲁棒性特点[^3]: - 支持内置的数据预处理功能可以直接读取 libsvm 格式的文件格式； - 提供了专门针对稀疏性的优化措施比如近似直方图算法； - 对于非常宽广但是密度很低的数据结构依然保持较高的运算速度而不至于耗尽物理内存资源。 #### 4. 在实际应用过程中如何调节 XGBoost 参数以达到最佳性能表现？ 调参是一个反复试验的过程，涉及到多个方面因素考量。以下是几个常用技巧帮助找到合适的配置方案[^4]: - `max_depth` : 设置最大树深，默认为6层。较小值可防止过拟合并加快收敛速率，但可能造成欠拟合现象发生。 - `eta` 或者说是 learning rate ：减小步长有利于获得更为精细的学习成果，不过会增加总的迭代次数需求。 - `subsample`: 每次建模之前先抽取一部分比例的数据参与本轮更新操作，以此方式增强整体稳定性。 - `colsample_bytree`, `colsample_bylevel`, `colsample_bynode`: 这些选项分别决定了每棵树、每一级乃至每个分支所使用的属性集合规模占比情况。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值