为什么GBDT不适合处理高维特征？

最新推荐文章于 2022-05-22 23:05:22 发布

转载最新推荐文章于 2022-05-22 23:05:22 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://www.zhihu.com/question/266195966/answer/306104444

算法专栏收录该内容

3 篇文章

订阅专栏

博客聚焦于探讨GBDT不适合处理高维特征的问题。虽未给出具体内容，但核心围绕GBDT在高维特征处理方面的局限性展开，这在信息技术领域的机器学习算法应用中是值得关注的要点。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

我想唱歌给你听

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【机器学习Q&A】高维组合特征的处理：什么是组合特征？如何处理高维组合特征？

小哲的博客

02-08

1102

高维组合特征的处理：什么是组合特征？如何处理高维组合特征？合成特征，特征降维，矩阵分解

逻辑回归处理非线性特征，特征离散化以及高维稀疏特征

yr20133851的博客

04-30

5002

处理非线性特征我们都知道逻辑回归是个线性分类器，它的分类器形式为： f(x)=θ1x1+θ2x2+....+θnxnf(x)=\theta_1x_1+\theta_2x_2+....+\theta_nx_nf(x)=θ1x1+θ2x2+....+θnxn 所说的线性是关于参数θ\thetaθ的线性，虽然它会经过一个sigmoid函数的映射，加入映射之后，会演变成： $hθ(x)=1/...

参与评论您还未登录，请先登录后发表或查看评论

百题突击8:1，简述GBDT原理。 2，GBDT常用损失函数有哪些？ 3，GBDT如何用于分类? 4，为什么GBDT不适合使用高维稀疏特征? 5，GBDT算法的优缺点？

MrCharles在优快云

04-22

650

1，简述GBDT原理。 2，GBDT常用损失函数有哪些？ 3，GBDT如何用于分类? 4，为什么GBDT不适合使用高维稀疏特征? 5，GBDT算法的优缺点？附加题: CV:

gbdt原文_为何常规的gbdt和决策树不适用于高基数特征的场景

weixin_33125137的博客

12-08

269

关于sklearn中的决策树是否应该用one-hot编码？www.zhihu.com见最高赞的完美回答1、第一点很直观，不多废话了2、、在不加限制的情况下，tree会一直在高维的稀疏特征中生长，从而像左图这样一直分裂下去，当叶子节点的样本数量很小的时候，我们难以直接就根据叶子节点的输出来判定样本的类别或者是样本的回归标签值，举一个简单的例子，加入某个叶节点一共就5个样本，4个正样本，1个负样本，...

GBDT总结

天空没有留下我的痕迹，但我已飞过！

12-02

2012

Gradient Boost是一个框架，里面可以套入很多不同的算法。GBDT是GB的一种情况，GBDT=Gradient Boost+Decision Tree 也就是梯度提升+决策树 GB：梯度迭代 Gradient Boosting Boosting 是一种集成方法。通过对弱分类器的组合得到强分类器，他是串行的，几个弱分类器之间是依次训练的。GBDT 的核心就在于，每一颗树学习的是之前所有树结论和的残差。 Gradient 体现在：无论前面一颗树的 cost function 是什么，是均方差还是均差，

LR和GBDT高维稀疏特征

bit_max的博客

09-23

6644

LR和GBDT高维稀疏特征面试被问到GBDT是否适合处理高维稀疏特征，没有答上来，感觉自己对模型理解深度不够。结论：LR适合处理高维稀疏特征，而GBDT不适合。主要原因有： 1、高维特征会导致gbdt运行过于耗时 2、从高维稀疏特征中难以进行有效的特征空间划分，且对噪音会很敏感。想想一个例子，有个年龄特征0~100，如果对这样特征进行one-hot编码后变为稀疏特征，第i维表示是否为i岁。...

3-4 机器学习进阶-GBDT原理、常用损失函数、如何用于分类、优缺点

记录与分享AI资料与学习过程

01-22

1983

GBDT原理、常用损失函数、如何用于分类、优缺点 1、简述GBDT原理 2、GBDT常用损失函数有哪些 3、GBDT如何用于分类 4、为什么GBDT不适合使用高维稀疏特征？ 5、GBDT算法的优缺点

什么是组合特征?如何处理高维组合特征?

最新发布

11-10

我们正在回答用户关于组合特征定义及高维组合特征处理方法的问题。用户提供了三个引用，我们需要参考这些引用来构建回答，同时也要结合我们已有的知识。注意用户强调要参考站内引用，因此我们的回答中需要适当引用...

GBDT和决策森林的区别？

10-31

Gradient Boosting Decision Trees (GBDT) 和决策森林（Random Forest）虽然都是基于决策树的集成学习...综上，GBDT适合处理线性可分的数据，而决策森林在处理大量高维数据和降低过拟合方面表现较好，两者各有优势。

XGBoost相比GBDT做了哪些关键优化？

08-16

这种机制使得XGBoost能够更好地处理高维稀疏数据，并在面对噪声数据时保持较高的稳定性[^2]。特征处理方面，XGBoost引入了特征分块（block）存储结构，使得特征排序后的信息可以被重复利用，从而在特征选择和节点...

二、树模型(3)

qq_26430933的博客

05-22

1712

1. GBDT 特征筛选方法 https://blog.youkuaiyun.com/yangxudong/article/details/53899260

高维稀疏特征的时候，lr 的效果会比 gbdt 好

s37

04-12

7616

高维稀疏特征的时候，lr 的效果会比 gbdt 好，为什么？这个问题我也是思考了好久，在平时的项目中也遇到了不少 case，确实高维稀疏特征的时候，使用 gbdt 很容易过拟合。但是还是不知道为啥，后来深入思考了一下模型的特点，发现了一些有趣的地方。假设有1w 个样本， y类别0和1，100维特征，其中10个样本都是类别1，而特征 f1的值为0，1，且刚好这10个样本的 f1特征值都为1，其余

GBDT和Xgboost模型对比总结

panda_zjd的博客

05-10

9951

一．GBDT有哪些参数,如何确定树的深度，学习率怎样确定。答：本题答案引自http://www.07net01.com/2016/12/1742073.html 在sk-learn中，GradientBoostingClassifier为GBDT的分类类，GradientBoostingRegressor为GBDT的回归类，两者的参数类型相同，我们把参数分为两类，第一类是Boosting

【机器学习】集成学习各方法优缺点特征总结

热门推荐

qq_32742009的博客

08-02

2万+

随机森林优点具有极高的准确率随机性的引入，使得随机森林不容易过拟合，有很好的抗噪声能力，对异常点离群点不敏感能处理很高维度的数据，并且不用做特征选择既能处理离散型数据，也能处理连续型数据，数据集无需规范化（归一化）实现简单，训练速度快，可以得到变量重要性排序（计算每个特征在分裂时被选到的次数或者某个特征不纯度平均下降了多少）容易实现并行化在创建随机森林的时候，对ge...

机器学习算法-gbdt

qq_37792144的博客

04-18

828

GBDT（分类，回归（线性/非线性）） 1.原理简介 2.原理：回归/分类 3.正则化 4.优缺点 1.原理简介：（gradient boosting decision tree）（形式+迭代目标+拟合方法） GBDT就是boosting框架+任意损失函数+CART回归树模型；他关注的是残差值，迭代目标是找到一个CART回归树模型的弱学习器，让损失函数最小（找决策树，让损失最...

【机器学习】集成学习知识点总结二

qq_32742009的博客

08-23

1341

GBDT原理概述 GBDT是集成学习Boosting的一种。算法流程详见集成学习之梯度提升树GBDT。 Gradient boosting的主要思想是，每一次建立单个学习器时，是在之前建立的模型的损失函数的梯度下降方向。损失函数越大，说明模型越容易出错，如果我们的模型能够让损失函数持续的下降，则说明我们的模型在不断改进，而最好的方式就是让损失函数在其梯度的方向上下降。 GBDT的核心就在于，...

GBDT和XGB算法问题总结

lizz2276的博客

06-02

2901

机器学习-使用gbdt生成高维特征

感性企鹅的专栏

01-09

617

背景现在比较流行的ctr预估是gbdt+lr的方法： gbdt进行连续特征的离散化，省去了人为分桶的过程，既提高了效率，又提高了准确率 lr，进行最终的特征训练，进行ctr预估本文将阐述如何使用python的sklearn提取高维特征实战 import numpy as np from sklearn.preprocessing import OneHotEncoder from skl...