随机森林算法简介

最新推荐文章于 2025-04-23 18:59:51 发布

YUAnthony

最新推荐文章于 2025-04-23 18:59:51 发布

阅读量1.6w

点赞数 9

分类专栏：机器学习文章标签：决策树机器学习算法

本文链接：https://blog.youkuaiyun.com/weixin_43937759/article/details/106579501

版权

随机森林是一种集成学习方法，基于决策树构建。通过Bootstrap有放回抽样生成多个训练集，训练多棵决策树，并利用多数投票或平均值进行预测。随机森林相比单一决策树更稳定，适用于分类和回归问题，广泛应用于数据挖掘和机器学习项目。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天在练习 Kaggle 的项目时，发现网上很多博主都选择用 RandomForest （随机森林）算法训练模型，虽然最后参照他们的写法我也写出来了，但是没有很明白其中的原理，在此打算深入了解一下这个算法。

1. 什么是随机森林

随机森林是通过集成学习的思想将多棵树集成的一种算法，它的基本单元是决策树，而它的本质属于机器学习的一大分支——集成学习（Ensemble Learning）方法。
在集成学习中，主要分为 bagging 算法和 boosting 算法，而这里的随机森林则主要运用了 bagging 算法。也就是说

Bagging + 决策树 = 随机森林

在这里插入图片描述

1.1 集成学习

集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。
本文主要介绍集成学习中的 bagging 算法：
bagging的名称来源于（ Bootstrap AGGregatING ），意思是自助抽样集成，这种方法将训练集分成m个新的训练集，然后在每个新训练集上构建一个模型，各自不相干，最后预测时我们将这个m个模型的结果进行整合，得到最终结果。整合方式就是：分类问题用majority voting，回归用均值。<

最低0.47元/天解锁文章