面试问题总结----GBDT&LightGBM&Xgboost

最新推荐文章于 2025-07-02 18:36:44 发布
原创 最新推荐文章于 2025-07-02 18:36:44 发布 · 2.2k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了信息熵、信息增益、信息增益率、基尼系数在决策树算法如GBDT、LightGBM和Xgboost中的作用。介绍了分类树与回归树的区别，强调分类树利用信息增益等标准划分节点，而回归树依赖最小均方差。此外，还详细讨论了决策树的剪枝策略，包括预剪枝和后剪枝，以防止过拟合。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.信息熵 信息增益 信息增益率 基尼系数
在信号中每种信号出现的可能为pi (对应到最简单的二分类为 0 出现的可能为p0,1出现的可能为p1) 我们使用-log pi 来表示这种不确定性 ，那么对于所有信号的不确定性 很明显需要使用他们的期望来表示 即 -∑pilog(pi) 称为信息熵

信息增益就是选取某一特征作为树模型的分裂条件之后 将原始数据分为若干部分 若干部分的信息熵之和相比于分裂前信息熵减小的部分

H(D)=∑ k K
因为信息增益会受到特征取值种类的影响 ，特征取值越多 意味着确定性越高 如果特征种类取值极端情况每一个特征种类只有一个取值 那么最终一定能够降到信息熵为0的情况，这样会导致决策树分支过多 的情况 因此引入了Split Information项进行惩罚
在这里插入图片描述

基尼系数
Cart 树 是一个二叉树 可用于分类和回归 分类时使用gini指数作为标准，gini系数代表数据集的纯度 值越小 纯度越高（基尼系数和信息熵的区别为信息熵是用pi * log pi 而基尼系数是用 pi * pi）
在这里插入图片描述

Question 2 分类树和回归树的区别

分类树和回归树节点划分的依据不同 分类树使用信息增益，信息增益率 基尼指数进行节点划分

最低0.47元/天 解锁文章

200万优质内容无限畅学
XGBoost vs. LightGBM （秋招面试复习）
weixin_41089007的博客
07-23 1370
1.XGBoost详解 XGboost模型简介 XGboost是一个监督模型，基模型是一堆CART树。xgboost为什么使用CART树而不是用普通的决策树呢？简单讲，对于分类问题，由于CART树的叶子节点对应的值是一个实际的分数，而非一个确定的类别，这将有利于实现高效的优化算法。xgboost出名的原因一是准，二是快，之所以快，其中就有选用CART树的一份功劳。 知道了xgboost的模型...
RF、GBDT、XGBoost面试级整理
热门推荐
王琨的博客
04-17 6万+
由于本文是基于面试整理，因此不会过多的关注公式和推导，如果希望详细了解算法内容，敬请期待后文。 　　 　　RF、GBDT和XGBoost都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。 　　根据个体学习器的生成方式，目前的集成学习方法大致分为两大类：即个体学习器之间存在强依赖关系、必须串行生成的序列化方法
【AI深究】CatBoost深度解析：原理、算法与工程实践——全网最详细全流程详解与案例（附Python代码演示）|集成学习算法细节、数学表达、与其他Boosting算法比较|参调技巧与代码示例可视化
最新发布
AI人工智能爱酱～你的AI学习好帮手～
07-02 1571
大家好，我是爱酱。本篇延续我上三篇Boosting (XGBoost, LightGBM, AdaBoost)，继续去讲解CatBoost（Categorical Boosting）的核心原理、算法细节、数学表达、优缺点、工程实现与实际意义，帮助你全面理解这一经典Boosting算法的本质与应用。 注：本文章含大量数学算式、详细例子说明及大量代码演示，大量干货，建议先收藏再慢慢观看理解。新频道发展不易，你们的每个赞、收藏跟转发都是我继续分享的动力！
Random Forest & GBDT & XGBOOST & LightGBM面试问题整理
AC_kereo的专栏
05-08 1961
一.知识点 二.特征重要性评估     基于树的集成算法有一个很好的特性，就是模型训练结束后可以输出模型所使用的特征的相对重要性，便于理解哪些因素是对预测有关键影响，有效筛选特征。 Random Forest 袋外数据错误率评估 由于RF采用bootstrapping有放回采样, 一个样本不被采样到的概率为 limm→∞(1−1m)...
20240326-2-LightGBM面试题
qq_24428851的博客
04-09 1099
直方图算法就是使用直方图统计，将大规模的数据放在了直方图中，分别是每个bin中样本的梯度之和还有就是每个bin中样本数量首先确定对于每一个特征需要多少个箱子并为每一个箱子分配一个整数；将浮点数的范围均分成若干区间，区间个数与箱子个数相等将属于该箱子的样本数据更新为箱子的值最后用直方图表示内存占用更小：相比xgb不需要额外存储预排序，且只保存特征离散化后的值(整型)计算代价更小: 相比xgb不需要遍历一个特征值就需要计算一次分裂的增益，只需要计算k次(k为箱子的个数)直方图做差加速。
LightGBM常见面试题总结
A496608119的博客
03-31 1035
法工程师`常见面试问题总结之`LightGBM常见面试题总结
GBDT、XGBoost、LightGBM，树模型全面对比 ！！
Python数据挖掘
10-01 3329
最近已有不少大厂都在秋招宣讲了，也有一些在 Offer 发放阶段。节前，我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对新人如何快速入门算法岗、如何准备面试攻略、面试常考点、大模型项目落地经验分享等热门话题进行了深入的讨论。今儿和大家聊聊GBDT、XGBoost和LightGBM的区别和联系~
机器学习 集成学习各算法-gbdt，xgboost，lightgbm比较及优缺点特征总结
a1272899331的博客
03-07 1万+
随机森林 优点 具有极高的准确率 随机性的引入，使得随机森林不容易过拟合，有很好的抗噪声能力，对异常点离群点不敏感 能处理很高维度的数据，并且不用做特征选择 既能处理离散型数据，也能处理连续型数据，数据集无需规范化（归一化） 实现简单，训练速度快，可以得到变量重要性排序（计算每个特征在分裂时被选到的次数或者某个特征不纯度平均下降了多少） 容易实现并行化 在创建随机森林的时候，对gen...
20240330-2-XGBoost面试题
qq_24428851的博客
04-21 1303
XGBoostXGBoostXGBoost是大规模、分布式的通用梯度提升(GBDT)库，它在GB框架下实现了GBDT和一些广义线性ML算法。XGBoostXGBoostXGBoost是一种集成学习算法，属于3类常用的集成方法(BaggingBaggingBaggingBoostingBoostingBoostingStackingStackingStacking)中的Boosti。
LightGBM面试题
weixin_44852067的博客
04-24 972
xgboost是属于boosting家族，是GBDT算法的一个工程实现在模型的训练过程中是聚焦残差，在目标函数中使用了二阶泰勒展开并加入了正则，在决策树的生成过程中采用了精确贪心的思路，寻找最佳分裂点的时候，使用了预排序算法， 对所有特征都按照特征的数值进行预排序， 然后遍历所有特征上的所有分裂点位，计算按照这些候选分裂点位分裂后的全部样本的目标函数增益，找到最大的那个增益对应的特征和候选分裂点位，从而进行分裂。这样一层一层的完成建树过程。
对xgboost、lightgbm面向面试题的理解
Lord_sh的博客
08-13 660
intro： 最近在公司做项目，用xgboost、lightgbm分析特征重要性，做个baseline，正好写下对xgboost和lightgbm最新的理解 Chap01： 正好看到一道面试题： 我面试候选人时必问的一个问题 GBDT中的梯度是什么对什么的梯度？ 给一个有m个样本，n维特征的数据集，如果用LR算法，那么梯度是几维? 同样的m*n数据集，如果用GBDT，那么梯度是几维？m维？n维？m*n维？或者是与树的深度有关？或者与树的叶子节点的个数有关？ 就这样一个简单的问题，面试过2位数的
面试题3：lightgbm
weixin_40313252的博客
05-04 976
1 LGBM和XGB的差异 LGBM比XGBoost更快，且很好保持住了准确性。它主要从三方面着手： (1) 在树方面，提出了直方图算法寻找最佳分裂点，而且还采用Leaf-wise树生长策略。 (2) 在样本数上，使用GOSS保留所有大梯度样本但随机采样小梯度样本，减少训练样本量。 (3) 在特征数上，使用EFB捆绑互斥特征，将特征变稠密。此外，作者还采用GS编码，在GBDT一类模型中，这是第一次能直接支持类别型特征，不需要提前独热编码后再输入至模型中。最后，同样地，LightGBM也跟XGBoost一样进
LightGBM，XGBoost被面试官刁难了？内有含泪面试经验
u014765410的博客
03-24 441
参考博文：LightGBM，XGBoost被面试官刁难了？内有含泪面试经验
机器学习面试题——集成学习、Adaboost、随机森林、GBDT、xgBoost、LightGBM
weixin_46838716的博客
05-02 1524
1）这篇文章设计的东西很多，主要是集成学习包括并行和串行 2）并行的集成学习：bagging，随机森林RT 3）串行的集成学习：boosting，GBDT是核心算法,XGBDT,lightGBM是工程实现，他们都是一家的
LightGBM，面试会问到的都在这了（附代码）！
mantch
07-10 1578
1. LightGBM是什么东东 不久前微软DMTK(分布式机器学习工具包)团队在GitHub上开源了性能超越其他boosting工具的LightGBM，在三天之内GitHub上被star了1000次，fork了200次。知乎上有近千人关注“如何看待微软开源的LightGBM？”问题，被评价为“速度惊人”，“非常有启发”，“支持分布式”，“代码清晰易懂”，“占用内存小”等。 LightGBM （L...
【面试】介绍一下LightGBM，它相比于GBM有哪些优越之处，为什么？
Lewiz_124的博客
08-23 976
LightGBM相比传统GBM在多个方面具有优越性，包括基于直方图的决策树算法、Leaf-wise增长策略、差分计算技术以及对分布式训练的支持等。这些改进使得LightGBM在处理大规模数据集时效率更高、内存消耗更少、训练速度更快，并且在保持模型高效性和灵活性的同时，具有更好的性能和精度。因此，LightGBM被广泛应用于各种机器学习任务中，特别是需要处理大量数据和高维特征的场景。
ML LightGBM详细原理讲解+面试必考知识点
weixin_43646592的博客
02-01 677
ML LightGBM详细原理讲解+面试必考知识点
一文搞定 GBDT、Xgboost 和 LightGBM 的面试
zandaoguang的博客
07-25 1089
来自 | 知乎 作者 |丢丢链接 |https://zhuanlan.zhihu.com/p/148050748编辑 | AI有道本文经作者授权发布，禁二次转载GBDT和XGB基...
Matlab下HBA-LightGBM蜜獾算法优化及效果展示
资源摘要信息:"HBA-LightGBM蜜獾优化算法优化LightGBM分类预测，优化前后对比（Matlab完整源码和数据）" 知识点： 1. HBA-LightGBM蜜獾优化算法： HBA-LightGBM是一种结合了蜜獾优化算法（Honey Badger Algorithm...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值