Python3入门机器学习之11.3 oob（Out-of-Bag）和关于Bagging的更多讨论

最新推荐文章于 2024-12-16 06:00:52 发布
原创 最新推荐文章于 2024-12-16 06:00:52 发布 · 1.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #python #人工智能

本文深入探讨了机器学习中Bagging技术的核心概念及其实现细节，包括OOB（Out-of-Bag）评分的使用，如何通过OOB了解未被选中作为训练集的样本，以及Bagging算法的并行化优势。此外，还介绍了两种增强Bagging多样性的方法：RandomSubspaces（针对特征随机取样）和RandomPatches（同时对样本和特征进行随机取样）。
ACE-Step

ACE-Step

音乐合成
ACE-Step

ACE-Step是由中国团队阶跃星辰（StepFun）与ACE Studio联手打造的开源音乐生成模型。 它拥有3.5B参数量，支持快速高质量生成、强可控性和易于拓展的特点。 最厉害的是，它可以生成多种语言的歌曲，包括但不限于中文、英文、日文等19种语言

Python3入门机器学习

11.3 oob（Out-of-Bag）和关于Bagging的更多讨论

1.oob：
在这里插入图片描述
对应的代码：oob_score=True
从而知道哪些样本没有被取到而被用作测试数据集。

2.关于Bagging的更多讨论：

  • Bagging的思路极易并行化处理。
    因为是独立的训练若干子模型，所以可以很方便的进行并行处理。scikit-learn中可以传入参数“n_jobs”来完成并行处理。
  • 针对特征进行随机取样：Random Subspaces。
  • 既针对样本，又针对特征进行随机采样：Random Patches。

您可能感兴趣的与本文相关的镜像

ACE-Step

ACE-Step

音乐合成
ACE-Step

ACE-Step是由中国团队阶跃星辰（StepFun）与ACE Studio联手打造的开源音乐生成模型。 它拥有3.5B参数量，支持快速高质量生成、强可控性和易于拓展的特点。 最厉害的是，它可以生成多种语言的歌曲，包括但不限于中文、英文、日文等19种语言

python：随机森林分类时，不同决策树数量下的out-of-bag （OOB）误差
养乐多的博客
05-17 1119
本文将介绍使用 python 语言运行随机森林分类的时候，打印不同决策树数量下的out-of-bag （OOB）误差，（决策树数量为 0-300，递增数量1）。并且加了个绘图函数，将 OOB 误差绘制出来，横坐标是决策树数量，纵坐标是OOB误差。
机器学习：集成学习（OOB 和 关于 Bagging 的更多讨论）
ab1213456的博客
08-16 1966
一、oob（Out - of - Bag） 定义：放回取样导致一部分样本很有可能没有取到，这部分样本平均大约有 37% ，把这部分没有取到的样本称为 oob 数据集； 根据这种情况，不对数据集进行 train_test_split，也就是不适用 测试数据集，而使用这部分没有取到的样本做测试 / 验证； 　2）oob_score 参数 Bagging 取样...
大白话5分钟带你走进人工智能-第二十九节集成学习之随机森林随机方式 ，out of bag data及代码(2)
L先生AI课堂
05-18 1602
大白话5分钟带你走进人工智能-第二十九节集成学习之随机森林随机方式 ，out of bag data及代码(2) 上一节中我们讲解了随机森林的基本概念，本节的话我们讲解随机森林的随机方式，以及一些代码。 目录 1-随机森林随机方式 2-out of baf data 3-代码 1-随机森林随机方式 我们先来回顾下随机森林中都有哪些...
RandomForest中的包外误差估计out-of-bag (oob) error estimate
ybdesire的专栏
09-18 1万+
1. 引入 从RandomForest的鼻祖Breiman的comments（参考1）中，可以看到他说过：对于RandomForest的validation，没有必要像其他模型一样做cross-validation了，可以直接用RandomForest在内部就提供了out-of-bag (oob) error estimate，用这种方法就可以看出RF的训练效果了。 那我们该怎么理解out-of-bag (oob) error estimate呢？ 2. 原理：oob error estimate 首先解释
台大机器学习听课笔记---RF 10-2 Out-Of-Bag Estimate
findsd1989的专栏
05-29 1918
OOB： 列gi为从已有的资料中选出的一部分，行（Xi，Yi）为资料元数据。矩阵中红星代表未选中，Di代表被gi选中.
oob(out-of-bag)和关于bagging的更多讨论
Thumb_的博客
01-27 606
不用 train_test_split #%% 使用oob from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import BaggingClassifier bagging_clf = BaggingClassifier(DecisionTreeClassifier(), n_estimators=500,max_samples=100, # 集
python机器学习库sklearn-集成方法
11-16
通过设置`oob_score=True`，我们可以利用未被选入子集的样例（即袋外样例，out-of-bag samples）来估计模型的泛化性能。 **Random Forest** 是一种基于决策树的集成方法，由Breiman提出。在sklearn中，`...
【Python机器学习实战】----基于AdaBoost分类树模型、梯度提升分类树模型、Bagging分类树模型以及随机森林分类模型对空气质量等级进行预测
一伦明悦的博客
06-18 1269
这些模型各有特点，选择适当的模型取决于数据特性、问题复杂度以及对预测性能和解释性的需求。在实际应用中，通常需要通过交叉验证等方法来评估和比较它们的性能。
python:随机森林分类时,不同决策树数量下的out-of-bag (oob)误差
12-11
out-of-bag (oob)误差指的是用未被使用到的out-of-bag样本计算的模型预测误差。在随机森林中，这些未被使用到的样本可以作为验证集来评估模型的性能。因为oob样本是通过自助法得到的，所以每个样本平均只被约1/3的...
Machine Learning with Scikit-Learn and Tensorflow 7.3 Out-of-Bag评价方式
qinhanmin2010的博客
04-06 1305
Hands-On Machine Learning with Scikit-Learn and Tensorflow
Out Of Bag (OOB 估计)
beijingbuaaer的博客
10-28 2934
Out Of Bag (OOB 估计)
Out of bag error in Random Forest
GavinZhou的博客
08-15 5152
sklearn中的RandomForestClassifier有一个参数: oob_score : bool (default=False) Whether to use out-of-bag samples to estimate the generalization accuracy. 中文叫‘袋外误差’，可以看出这个参数的意思是：使用oob来衡量test error.关于oob的解释
详解 OOB（Out-of-Bag）误差-ChatGPT4o作答
最新发布
qq_46215223的博客
12-16 1826
OOB（Out-of-Bag）误差是一种内置于 Bagging 方法中的模型评估机制，通过利用袋外样本，能够高效、准确地评估模型的泛化能力。OOB（Out-of-Bag）误差是一种评估 Bagging（如随机森林）模型性能的内置机制，能够在不使用额外验证集的情况下，估计模型的泛化误差。由于是有放回采样，大约 63.2% 的样本会被选入子数据集，而剩余的约 36.8% 样本将未被采样。其中，( N ) 是训练样本数，( \hat{y}_i ) 是袋外样本 ( i ) 的预测值，( y_i ) 是真实标签。
ccc-sklearn-2-随机森林
liubi32326的博客
09-26 1133
集成算法概述、集成算法模块ensemble、RandomForestClassifier参数、bootstrap & oob_score、随机森林的建立的流程、重要接口和属性、使用Bagging的一个必要条件、随机森林回归API、随机森林回归填充缺失值实例、机器学习中的调参基本思想、随机森林在乳腺癌数据上的调参
随机森林算法参数解释及调优 转胡卫雄 RF模型可以理解成决策树模型嵌入到bagging框架，因此，我们首先对外层的bagging框架进行参数择优，然后再对内层的决策树模型进行参数择优
studyvcmfc的专栏
07-31 1285
RF参数择优思想：RF模型可以理解成决策树模型嵌入到bagging框架，因此，我们首先对外层的bagging框架进行参数择优，然后再对内层的决策树模型进行参数择优。在优化某一参数时，需要把其他参数设置为常数。 本文将详细解释随机森林类的参数含义，并基于该类讲解参数择优的过程。 随机森林类库包含了RandomForestClassifer类，回归类是RandomForestRegressor类。RF的变种ExtraTress也有ExtraTressClassifier类和ExtraTressRegre
决策树- 随机森林/GBDT/XGBoost
weixin_36378508的博客
10-22 1万+
随机森林 单颗决策树缺点：易过拟合的缺点 传统机器学习处理过拟合通常采用集成学习 (多颗树投票) 随机森林的生成方法【在bagging的基础上+CART树】： 1.从总数为N样本集中通过重采样的方式产生n个样本 (Bootstrap) 2.假设样本特征数目为a，对n个样本选择其中k个特征， 用建立决策树的方式获得最佳分割点 3.重复m次，产生m棵决策树 4.对于分类问题，按多棵树分类器投票决定最终分类结果； 对于回归问题，由多棵树预测值的均值决定最终预测结果 随机森林的随机性 1、每棵树的训练
sklearn机器学习：随机森林学习与调参
热门推荐
成都往右的博客
02-05 1万+
这部分sklearn学习笔记不会过多的涉及随机森林的原理（但还是会介绍），但是个人建议还是得知道随机森林的原来再来用sklearn会容易懂的多，西瓜书上集成学习部分讲到了bagging和随机森林，只有4页纸还是容易看懂的。
机器学习之随机森林（RF）
a1272899331的博客
03-06 5799
随机森林 模型收到低偏差和高方差问题的困扰，应该如何解决 低偏差意味着模型的预测值接近实际值。换句话说，该模型有足够的灵活性，以模仿训练所有数据的分布。貌似很好，但是别忘了，一个过于灵活的模型是没有泛化能力的。这意味着，当这个模型用在对一个未曾见过的数据集进行测试的时候，它会令人很失望。 在这种情况下，我们可以使用bagging算法（如随机森林），以解决高方差问题。 bagging...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值