机器学习之随机森林和GBDT的区别以及Xgboost和GBDT的区别

最新推荐文章于 2025-06-23 14:16:00 发布

原创

最新推荐文章于 2025-06-23 14:16:00 发布 · 7.2k 阅读

23 ·

CC 4.0 BY-SA版权

文章标签：

#xgboost #RF #GBDT #机器学习

本文对比了随机森林、GBDT和Xgboost的特性与区别。随机森林基于Bagging，训练速度快，能处理高维特征，对异常值不敏感；GBDT采用boosting思想，由回归树组成，对训练集权值处理；Xgboost支持线性分类器，引入正则项，优化二阶导数，支持列抽样，并行计算。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

随机森林：

理解：多棵决策树（CART树）https://blog.youkuaiyun.com/blank_tj/article/details/82081002组合而成，分类问题：每棵树投票找最高票；回归问题：每棵树的值求和取平均。

特点：随机森林基于Bagging https://blog.youkuaiyun.com/blank_tj/article/details/82229322，所以每次训练随机从总数据 $D$ 中选择 $N$ 条数据， $N < D$ 。每次选择的特征是从总特数 $P$ 中，随机选择 $Q$ 个特征，通常 $Q < P$ 。重复 $M$ 次，生成 $M$ 棵树。
通过这种每次随机数据，随机特征的方式进行建树。