随机森林 OOB理解

最新推荐文章于 2024-11-28 15:19:47 发布
最新推荐文章于 2024-11-28 15:19:47 发布
阅读量1.7w 收藏 30
点赞数 4
分类专栏： Machine Learning 文章标签： Random Forest
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/nemoyy/article/details/80317936
版权
随机森林通过Bootstrap抽样构建每棵树，约1/3数据未被选中作为OOB数据，用于评估单棵CART树的性能。随机森林在构建过程中利用OOB数据进行内部评估，无需额外测试集。每个样本在森林中约有1/e棵树对其进行预测，通过多数投票决定分类结果，以此估算总体错误率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一个大小为N的数据集D.

1.有一个问题是, 对于随机森林的每一棵CART树是怎么训练的, 如何划分训练集测试集?

Bootstrap, 对数据集随机有放回抽样N次作为一棵CART树的训练集.

根据概率论,可知数据集中有大约1/3的数据是没有被选取的(称为Out of bag),所以就是这没被选取的部分作为小树的测试集.



2. 接下来的问题是, 怎么测试随机森林的性能, 测试集是什么?

这里其实理解的有偏差: 随机森林有一个重要的优点

最低0.47元/天 解锁文章
随机森林里oob_score以及用oob判断特征重要性的理解
MingRachel的博客
03-21 2万+
本文总结了我在学习随机森林时关于oob产生的一系列问题以及学习到的问题答案1. 什么是oob2. 什么是oob_score3. 如何用oob判断特征的重要性错误理解与纠正参考文章 在学习随机森林算法参数解释以及参数择优的过程中，注意到oob_score这一参数对应是否采用袋外样本来评估模型的好坏。 同时在学习随机森林的优点时，其中一条是训练后可以给出各个特征对于输出的重要性。 一开始未能清楚理解该优点的理论原因是什么，但在今天学习oob_score的时候，我就想这个优点是不是就是基于oob实现的（不是！具体
机器学习：随机森林RF-OBB袋外错误率
alppkk4545的博客
09-12 3694
文章讲解比较详细，且有Python代码，可以作为有用的参考。 原文链接：http://blog.youkuaiyun.com/zhufenglonglove/article/details/51785220 参数：OBB-袋外错误率 构建随机森林的另一个关键问题就是如何选择最优的m（特征个数），要解决这个问题...
随机森林之oob error 估计
weixin_34087301的博客
11-20 1198
摘要：在随机森林之Bagging法中可以发现Bootstrap每次约有1/3的样本不会出现在Bootstrap所采集的样本集合中,当然也就没有参加决策树的建立,那是不是意味着就没有用了呢,答案是否定的。我们把这1/3的数据称为袋外数据oob（out of bag）,它可以用于取代测试集误差估计方法. 在论文： 1：Bias,variance and prediction error for c...
mysql oob_随机森林之oob error 估计
weixin_39758618的博客
02-17 946
摘要：在随机森林之Bagging法中可以发现Bootstrap每次约有1/3的样本不会出现在Bootstrap所采集的样本集合中,当然也就没有参加决策树的建立,那是不是意味着就没有用了呢,答案是否定的。我们把这1/3的数据称为袋外数据oob(out of bag),它可以用于取代测试集误差估计方法.在论文：中,作者都建议利用OOB error 估计作为泛化误差估计的一个组成部分,并且Breiman...
机器学习之随机森林（Random forest）
热门推荐
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
07-11 2万+
随机森林是一种监督式算法，使用由众多决策树组成的一种集成学习方法，输出是对问题最佳答案的共识。随机森林可用于分类或回归，是一种主流的集成学习算法。
随机森林_随机森林matlab_随机森林_随机森林matlab_随机森林工具箱_随机森林回归
09-10
3. **特征重要性评估**：随机森林能够输出特征的重要性分数，这有助于理解哪些特征对模型预测最具有影响力。 4. **Out-of-Bag (OOB) 估计**：在构建每棵树时，约有37%的数据未被用于训练，这部分数据可以用来估计...
模型 随机森林（通俗解读）
最新发布
wangdsh的博客
11-28 1594
随机森林（Random Forest）是一种集成学习方法，它通过构建多个决策树来进行分类或回归预测。随机森林的核心思想是“集思广益”，即通过组合多个模型的预测结果来提高整体的预测准确性和鲁棒性。随机森林模型的主要特点包括使用自助采样（Bootstrap Sampling）来构建每棵树的训练数据集，以及在构建每棵树时随机选择特征子集进行分裂，这增加了模型的多样性并有助于提高泛化能力。随机森林的发展历史可以追溯到20世纪90年代末和21世纪初。
随机森林,随机森林算法,matlab
09-10
随机森林是一种集成学习方法，由Leo Breiman在2001年提出，它结合了多个决策树模型以提高预测性能和防止过...通过理解随机森林的工作原理和MATLAB工具箱的特点，我们可以有效地利用这个算法解决实际的分类和回归问题。
随机森林（Random Forest）的学习
weixin_57128596的博客
05-19 1059
OOB就是我们的袋外数据，我们可以根据我们的OOB进行误差的计算。对于已经生成的随机森林,用袋外数据测试其性能,假设袋外数据总数为O,用这O个袋外数据作为输入,带进之前已经生成的随机森林分类器,分类器会给出O个数据相应的分类，因为这O条数据的类型是已知的,则用正确的分类与随机森林分类器的结果进行比较,统计随机森林分类器分类错误的数目,设为X,则袋外数据误差大小=X/O。
机器学习算法----决策树与随机森林 (信息熵、信息增益率、剪枝、OOB) (学习笔记)
深度不学习！！的博客
04-07 4199
文章目录决策树熵、信息熵、信息增益：剪枝随机森林OOB (袋外错误率)学习参考 前两天整理的笔记: 支持向量机 SVM 各种聚类算法 今天整理一下决策树和随机森林。 决策树 决策树顾名思义，一张图解释一下: 假设要见相亲对象，看这张图，这就是决策树的大概过程，每一个非叶子节点都是条件，叶子节点是结果，分支就是条件。 熵、信息熵、信息增益： 这俩东西的原理和计算方法后面再说了，一句话理解: 可以理解为混乱程度（分类效果不好)。 比如分类结果A里面啥都有，则他的混乱程度较大，所以熵值就大。 构造决策树的基
《机器学习》笔记---随机森林
weixin_40029703的博客
12-20 949
Bagging    Bagging基于自助采样法，给定包含m个样本的数据集，我们先随机取出一个样本放入采样集中，再把该样本放回初始数据集中，使得下次采样仍肯能被选中，这样经过m次操作，我们得到m个样本的采样集，照这样，我们可采样出T个含m个训练样本的采样集，然后基于每个采样集训练一个基学习器，再将这些学习器进行结合。   在对预测输出进行结合时，Bagging通常对分类任务使用简单投票法，对回归任务使用简单平均法。 随机森林 RF   RF是以决策树为基学习器构建Bagging集成的基础上，进一步在决策
随机森林oob_score及oob判断特征重要性
Vulpes corsac
08-19 7933
Sklearn RandomForest算法（有监督学习），可以根据输入数据，选择最佳特征，减少特征冗余；同理，可以通过特征的排列组合，选择最优的组合特征，优化下游算法性能 原理：由于随机决策树生成过程采用的Boostrap，所以在一棵树的生成过程并不会使用所有的样本，未使用的样本就叫（out_of_bag）oob袋外样本。通过袋外样本，可以评估这个树的准确度；此外，其他子树按这个原理评估。最后，取平均值即是随机森林算法的性能。 特征选择...
随机森林_袋外错误率（OOB error）
weixin_42907891的博客
03-23 1万+
在随机森林bagging法中可以发现booststrap每次约有1/3的样本不会出现在bootstrap所采集的样本集合中，故没有参加决策树的建立，这些数据称为袋外数据oob，用于取代测试集误差估计方法，可用于模型的验证。 下面先介绍下oob的使用，其中（x,y）代表输入的样本和label，g表示的是构建的树。 构建随机森林的关键问题就是如何选择最优的m（从总量为M的特征向量中，随机选择m个特征...
机器学习|随机森林
qq_31405629的博客
09-02 313
今天来了解第一个集成学习算法随机森林(Random Forest)。在机器学习中，随机森林是一个包含多个决策树(CART树)的分类/回归器，最终的分类结果是由各个决策树 ...
随机森林--你想到的，都在这了
mantch
07-07 1179
文章目录1.什么是随机森林1.1 Bagging思想1.2 随机森林2. 随机森林分类效果的影响因素3. 随机森林有什么优缺点4. 随机森林如何处理缺失值？5. 什么是OOB？随机森林中OOB是如何计算的，它有什么优缺点？6. 随机森林的过拟合问题7. 代码实现 1.什么是随机森林 1.1 Bagging思想 Bagging是bootstrap aggregating。思想就是从总体样本当中随机取...
随机森林的袋外数据--OOB
Tang4109的博客
09-12 7752
随机森林在构建每棵树时，会对训练集使用不同的bootstrap sample（随机且有放回地抽取）。 对于每棵树而言（假设对于第k棵树），大约有一半的训练实例没有参与第k棵树的生成，这一半的数据就称为第k棵树的袋外数据样本。 ...
机器学习 | Scikit Learn中基于随机森林的OOB误差计算
python收藏家的博客
10-03 2057
随机森林是由多个决策树组成的集成机器学习模型。决策树是一种模型，它通过学习一系列基于数据特征的简单决策规则来进行预测。随机森林将多个决策树的预测组合在一起，以做出更准确、更稳健的预测。随机森林通常用于分类和回归任务。在分类中，目标是预测类别标签（例如，“猫”或“狗”）。在回归中，目标是预测一个连续的目标变量（例如，房屋的价格）。随机森林很受欢迎，因为它们很容易训练，可以处理高维数据，并且非常准确。它们还具有处理缺失值的能力，并且可以处理不平衡的数据集，其中某些类比其他类更普遍。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值