机器学习建模中的Bagging思想!

深度探索:机器学习中的Bagging原理及其应用 Bagging作为一种简单而有效的集成学习策略,通过引入随机性增强个体学习器的多样性,显著提升了模型的稳定性和泛化能力。尽管存在对异常值敏感、解释性较弱等问题,但其在各类机器学习任务中展现出强大的实用性,特别是在处理复杂、非线性、高维数据集时。未来,研究方向可能包括: 改进个体学习器选择:探索更适用于Bagging的个体学习器类型,如深度学习模型、规则列表等,以适应不同领域的应用需求。 动态调整集成参数:研究自适应调整个体学习器数量、自助采样比例等参数的方法,实现模型性能的自动优化。 阅读详情

 Datawhale干货 

作者:小偶,来源:偶数科技

我们在生活中做出的许多决定都是基于其他人的意见,而通常情况下由一群人做出的决策比由该群体中的任何一个成员做出的决策会产生更好的结果,这被称为群体的智慧。集成学习(Ensemble Learning)类似于这种思想,集成学习结合了来自多个模型的预测,旨在比集成该学习器的任何成员表现得更好,从而提升预测性能(模型的准确率),预测性能也是许多分类和回归问题的最重要的关注点。

集成学习(Ensemble Learning)是将若干个弱分类器(也可以是回归器)组合从而产生一个新的分类器。(弱分类器是指分类准确率略好于随机猜想的分类器,即error rate < 0.5)。

集成机器学习涉及结合来自多个熟练模型的预测,该算法的成功在于保证弱分类器的多样性。而且集成不稳定的算法也能够得到一个比较明显的性能提升。集成学习是一种思想。当预测建模项目的最佳性能是最重要的结果时,集成学习方法很受欢迎,通常是首选技术。

 

 

· 为什么要使用集成学习 ·

(1) 性能更好:与任何单个模型的贡献相比,集成可以做出更好的预测并获得更好的性能;

(2) 鲁棒性更强:集成减少了预测和模型性能的传播或分散,平滑了模型的预期性能。

(3) 更加合理的边界:弱分类器间存在一定差异性,导致分类的边界不同。多个弱分类器合并后,就可以得到更加合理的边界,减少整体的错误率,实现更好的效果;

(4) 适应不同样本体量:对于样本的过大或者过小,可分别进行划分和有放回的操作产生不同的样本子集,再使用样本子集训练不同的分类器,最后进行合并;

(5) 易于融合:对于多个异构特征数据集,很难进行融合,可以对每个数据集进行建模,再进行模型融合。

 

· 机器学习建模的偏差和方差 ·

机器学习模型产生的错误通常用两个属性来描述:偏差和方差。

偏差是衡量模型可以捕获输入和输出之间的映射函数的接近程度。它捕获了模型的刚性:模型对输入和输出之间映射的函数形式的假设强度。

模型的方差是模型在拟合不同训练数据时的性能变化量。它捕获数据的细节对模型的影响。

理想情况下,我们更喜欢低偏差和低方差的模型,事实上,这也是针对给定的预测建模问题应用机器学习的目标。模型性能的偏差和方差是相关的,减少偏差通常可以通过增加方差来轻松实现。相反,通过增加偏差可以很容易地减少方差。

与单个预测模型相比,集成用在预测建模问题上实现更好的预测性能。实现这一点的方式可以理解为模型通过添加偏差来减少预测误差的方差分量(即权衡偏差-方差的情况下)。

· 集成学习之Bagging思想 ·

Bagging又称自举汇聚法(Bootstrap Aggregating),涉及在同一数据集的不同样本上拟合许多学习器并对预测进行平均,通过改变训练数据来寻找多样化的集成成员。

Bagging思想就是在原始数据集上通过有放回的抽样,重新选择出N个新数据集来分别训练N个分类器的集成技术。模型训练数据中允许存在重复数据。

使用Bagging方法训练出来的模型在预测新样本分类的时候,会使用多数投票或者取平均值的策略来统计最终的分类结果。

基于Bagging的弱学习器(分类器/回归器)可以是基本的算法模型,如Linear、Ridge、Lasso、Logistic、Softmax、ID3、C4.5、CART、SVM、KNN、Naive Bayes等。

· 随机森林 (Random Forest) ·

随机森林算法原理

随机森林是在Bagging策略的基础上进行修改后的一种算法,方法如下:

(1) 使用Bootstrap策略从样本集中进行数据采样;

(2) 从所有特征中随机选择K个特征,构建正常决策树;

(3) 重复1,2多次,构建多棵决策树;

(4) 集成多棵决策树,形成随机森林,通过投票表决或取平均值对数据进行决策。

 

随机森林OOB Error

在随机森林中可以发现Bootstrap采样每次约有1/3的样本不会出现在Bootstrap所采样的样本集合中,当然也没有参加决策树的建立,而这部分数据称之为袋外数据OOB(out of bag),它可以用于取代测试集误差估计方法。

对于已经生成的随机森林,用袋外数据测试其性能,假设袋外数据总数为O,用这O个袋外数据作为输入,带进之前已经生成的随机森林分类器,分类器会给出O个数据相应的分类,因为这O条数据的类型是已知的,则用正确的分类与随机森林分类器的结果进行比较,统计随机森林分类器分类错误的数目,设为X,则袋外数据误差大小为X/O。

优点:这已经经过证明是无偏估计的,所以在随机森林算法中不需要再进行交叉验证或者单独的测试集来获取测试集误差的无偏估计。

缺点:当数据量较小时,Bootstrap采样产生的数据集改变了初始数据集的分布,这会引入估计偏差。

 

· 随机森林算法变种 ·

RF算法在实际应用中具有比较好的特性,应用也比较广泛,主要应用在:分类、归回、特征转换、异常点检测等。以下为常见的RF变种算法:

·Extra Trees (ET)

·Totally Random Trees Embedding (TRTE)

·Isolation Forest (IForest)

Extra Trees (ET)

Extra-Trees(Extremely randomized trees,极端随机树)是由Pierre Geurts等人于2006年提出。是RF的一个变种,原理基本和RF一样。但该算法与随机森林有两点主要的区别:

(1) 随机森林会使用Bootstrap进行随机采样,作为子决策树的训练集,应用的是Bagging模型;而ET使用所有的训练样本对每棵子树进行训练,也就是ET的每个子决策树采用原始样本训练;

(2) 随机森林在选择划分特征点的时候会和传统决策树一样(基于信息增益、信息增益率、基尼系数、均方差等),而ET是完全随机的选择划分特征来划分决策树。

对于某棵决策树,由于它的最佳划分特征是随机选择的,因此它的预测结果往往是不准确的,但是多棵决策树组合在一起,就可以达到很好的预测效果。

当ET构建完成,我们也可以应用全部训练样本得到该ET的误差。因为尽管构建决策树和预测应用的都是同一个训练样本集,但由于最佳划分属性是随机选择的,所以我们仍然会得到完全不同的预测结果,用该预测结果就可以与样本的真实响应值比较,从而得到预测误差。如果与随机森林相类比的话,在ET中,全部训练样本都是OOB样本,所以计算ET的预测误差,也就是计算这个OOB误差。

由于Extra Trees是随机选择特征值的划分点,会导致决策树的规模一般大于RF所生成的决策树。也就是说Extra Trees模型的方差相对于RF进一步减少。在某些情况下,ET具有比随机森林更强的泛化能力。

Totally Random Trees Embedding (TRTE)

TRTE是一种非监督学习的数据转化方式。它将低维的数据映射到高维,从而让映射到高维的数据更好的应用于分类回归模型。

TRTE算法的转换过程类似RF算法的方法,建立T个决策树来拟合数据。当决策树构建完成后,数据集里的每个数据在T个决策子树中叶子节点的位置就定下来了,将位置信息转换为向量就完成了特征转换操作。

例如,有3棵决策树,每棵决策树有5个叶子节点,某个数据特征x划分到第一个决策树的第3个叶子节点,第二个决策树的第1个叶子节点,第三个决策树的第5个叶子节点。则x映射后的特征编码为(0,0,1,0,0  1,0,0,0,0 0,0,0,0,1),有15维的高维特征。特征映射到高维之后,就可以进一步进行监督学习。

Isolation Forest (IForest)

IForest是一种异常点检测算法,使用类似RF的方式来检测异常点;IForest算法和RF算法的区别在于:

(1) 在随机采样的过程中,一般只需要少量数据即可;

(2) 在进行决策树构建过程中,IForest算法会随机选择一个划分特征,并对划分特征随机选择一个划分阈值;

(3) IForest算法构建的决策树一般深度max_depth是比较小的。

IForest的目的是异常点检测,所以只要能够区分异常数据即可,不需要大量数据;另外在异常点检测的过程中,一般不需要太大规模的决策树。

对于异常点的判断,则是将测试样本x拟合到T棵决策树上。计算在每棵树上该样本的叶子结点的深度ht(x)。从而计算出平均深度h(x);然后就可以使用下列公式计算样本点x的异常概率值,p(s,m)的取值范围为[0,1],越接近于1,则是异常点的概率越大。

m为样本个数,ξ 为欧拉常数

 

· 随机森林优缺点总结 ·

 

本期AI小课堂我们一起了解了Bagging思想及其原理,以及基于Bagging的随机森林相关知识。最后,让我们一起总结下随机森林的优缺点:

 

优点

(1) 训练可以并行化,对于大规模样本的训练具有速度的优势;

(2) 由于进行随机选择决策树划分特征列表,这样在样本维度比较高的时候,仍然具有比较好的训练性能;

(3) 由于存在随机抽样,训练出来的模型方差小,泛化能力强;

(4) 实现简单;

(5) 对于部分特征缺失不敏感;

(6) 可以衡量特征的重要性。

缺点

(1) 在某些噪声比较大的特征上,易过拟合;

(2) 取值比较多的划分特征对RF的决策会产生更大的影响,从而有可能影响模型的效果。


觉得还不错就给我一个小小的鼓励吧!


Bagging算法 集成学习有两个流派,一个是boosting派系,它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派,它的特点是各个弱学习器之间没有依赖关系,可以并行拟合。 Bagging算法(英语:Bootstrap aggregating,引导聚集算法),又称装袋算法,是机器学习领域的一种团体学习算法。最初由Leo Breiman于1996年提出。Bagging算法可与其他分类、回归算法结合,提高... 阅读详情

相关推荐

机器学习中的集成学习方法:Bagging、Boosting 与 Stacking

集成学习(ensemble learning)是一种将多个学习器进行组合,以完成学习任务的机器学习范式1。其基本思想是通过构建并结合多个学习器,利用它们之间的互补性和多样性,来获得比单个学习器更好的性能。集成学习的核心在于如何产生 “好而不同” 的个体学习器,然后通过合适的方式将它们组合起来1。集成学习方法可以分为串行集成方法和并行集成方法1。串行集成方法中,个体学习器之间存在强依赖关系,需要串行生成,例如 AdaBoost;

数字魔方操控师的博客 1481

Bagging与Boosting的区别与联系

1 Bagging与Boosting的区别与联系 Baggging 和Boosting都是模型融合的方法,可以将弱分类器融合之后形成一个强分类器,而且融合之后的效果会比最好的弱分类器更好。 1.1 Bagging介绍 用抽样的方式从原始样本中进行有放回的多次抽样(或者是抽特征),这种方法叫做Bootstraping,抽取k次每次抽取n个样本,这样就生成了k个样本容量为n的数据集。原始数据集中的样本可能是多次被抽到也可能是没有被抽到。 每次使用一个数据即选练得到一个模型,这样k个数据集就可以得到k个模

qq_31267769的博客 2万+

bagging和boosting的思想简述各自的代表模型原理

在机器学习的集成学习中,有两种系列算法boosting,bagging。现在讲述一下二者的思想简述各自的代表模型原理。 一.boosting 1. 思想 其主要思想是将弱分类器组装成一个强分类器。在PAC(概率近似正确)学习框架下,则一定可以将弱分类器组装成一个强分类器。 2.代表模型及其原理 AdaBoost通过加权多数表决的方式,即增大错误率小的分类器的权值,同时减小错误率较大的分类器的权值。...

weixin_45834085的博客 1810

集成算法中的Bagging

Bagging meta-estimator 基本描述 在集成算法中,bagging 方法会在原始训练集的随机子集上构建一类黑盒估计器的多个实例,然后把这些估计器的预测结果结合起来形成最终的预测结果。 该方法通过在构建模型的过程中引入随机性,来减少基估计器的方差(例如,决策树)。 在多数情况下,bagging 方法提供了一种非常简单的方式来对单一模型进行改...

weixin_30390075的博客 1795

什么是机器学习中的 Bagging?带有示例的指南

集成方法是机器学习中强大的技术,它可以结合多种模型来提高整体预测准确性和模型稳定性。Bootstrap Aggregating(俗称 Bagging)是一种流行且广泛实施的集成方法。在本教程中,我们将深入研究 bagging、其工作原理以及其优势所在。我们将它与另一种集成方法 (Boosting) 进行比较,并查看 Python 中的 bagging 示例。最后,您将对 bagging 有扎实的了解,包括最佳实践。

gongdiwudu的专栏 3287

【机器学习】bagging算法思想及与DNN中的dropout思想的一致性

然而,为了获得好的集成,我们同时还希望个体学习器不能太差,如果采样出的每个子集都完全不同,则每个学习器都只用到了一小部分的训练数据,甚至不足以进行有效学习。**可以在每个神经元结点处独立采样一个二进制掩膜,采样一个掩膜值为 0 的概率是一个固定的超参数,则掩膜值为 0 的被去除,掩膜值为 1 的正常输出。照上面的自助采样法,我们可以采样出 T 个含有 m 个训练样本的采样集,然后基于每个采样集训练出一个基学习器,再将这些基学习器进行结合,这便是 bagging 方法的基本流程。,这就是自助采样法的结果。

热情、奔放、快乐编程! 518

机器学习的集成方法(bagging、boosting)

这个算法是选取2个或者2个以上相似的样本(根据距离度量 distance measure),然后每次选择其中一个样本,并随机选择一定数量的邻居样本对选择的那个样本的一个属性增加噪声(每次只处理一个属性)。预测患有疝气病的马的存活问题,这里的数据包括368个样本和28个特征,疝气病是描述马胃肠痛的术语,然而,这种病并不一定源自马的胃肠问题,其他问题也可能引发疝气病,该数据集中包含了医院检测马疝气病的一些指标,有的指标比较主观,有的指标难以测量,例如马的疼痛级别。比如对于错分的小类给予更高的代价。

sikh_0529的博客 1万+

机器学习| 面试题:04、bagging算法思想及与DNN中的dropout思想的对比

问题 我们在机器学习文件夹的问题“11_三种集成学习思想简介”中大体上介绍了 bagging 思想,在这个问题中,我们便具体讨论下这种思想,且与DNN中的dropout思想做下对比。 bagging 要得到泛化性能强的集成,集成中的个体学习器应尽可能表现好且相互独立,即“好而不同”。但是“独立”的学习方法在现实任务中无法做到,因为同一个数据集,训练得到的学习器肯定不会完全独立,但可以设法使基学习器尽可能具有较大的差异。给定一个训练数据集,一种可能的做法是对训练样本进行采样,产生出若干个不同的子集,再从每个数

Mrrunsen的博客 347

机器学习建模中的 Bagging 思想

点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达我们在生活中做出的许多决定都是基于其他人的意见,而通常情况下由一群人做出的决策比由该群体中的任何一个成员做出的决策会产生更好的结果,这被称为群体的智慧。集成学习(Ensemble Learning)类似于这种思想,集成学习结合了来自多个模型的预测,旨在比集成该学习器的任何成员表现得更好,从而提升预测性能(模型的准确率),预测性能...

小白学视觉 251

【python 机器学习】bagging和随机森林

假设你要参加一个考试,题目比较难,如果你一个人答题可能有很多错误,但是如果你找几个朋友来一起答,每个人做出不同的选择,最后大家通过讨论汇总出最正确的答案,最终的结果会更准确。每棵树都是通过不同的数据子集和不同的特征子集来训练的。的引入(不仅仅是数据,甚至在特征选择时也做了随机化),因此每棵树的“思路”都不完全一样,这样可以大大增加模型的多样性,降低过拟合的风险。,生成多个数据子集,训练多个模型,然后对这些模型的结果进行投票(分类问题)或平均(回归问题),从而得到最终的预测结果。,从而增强模型的多样性。

m0_62599305的博客 1314

sklearn2pmml xgboost缺失值(missing)处理的坑

sklearn2pmml xgboost缺失值(missing)如何处理 今天同事在部署xgboost pmml模型时遇到了大坑,线上spark预测和本地python预测结果怎么都不对应,记录一下处理过程。 看了下同事的代码,貌似也没有问题 from sklearn2pmml import PMMLPipeline from sklearn2pmml import sklearn2pmml fro...

Skycrab 8972

【机器学习】Bagging和随机森林

Bagging基本流程:通过上述自助采样,采出T个含m个训练样本的采样集,然后基于每个采样集训练出一个基学习器,在将这些基学习器进行组合。在对预测输出进行结合的时候,Bagging通常对分类任务使用简单投票法,对回归任务进行简单的平均法。但是如果投票个数一致,则最简单的做法是随机选择一个类别,当然也可以进一步考察学习器投票的置信度来确定最终的分类。基本分类器可以是决策树,逻辑回归等基分类器。对于稳定性不好的分类器很实用,通过多数投票,减小了泛化误差,而对于稳定的分类器,集成效果并不明显。1.4。

2301_76820214的博客 2378

海康视觉平台VisionMaster实战入门:从通讯配置到工具应用

本文为海康VisionMaster视觉平台实战入门指南,详细介绍了从软件安装准备、与PLC等外部设备的通讯配置,到匹配定位、测量、畸变矫正等核心工具的应用方法。通过实战案例拆解,帮助工程师快速掌握如何搭建完整的机器视觉检测与引导定位系统,实现工业自动化项目落地。

weixin_29224309的博客 1021

机器学习建模中的Bagging思想

欢迎了解Imagination三管齐下的汽车解决方案:GPU、NNA & EPP,下载本期汽车电子专刊,查看更多精彩内容!我们在生活中做出的许多决定都是基于其他人的意见,而通常情况...

weixin_49393016的博客 210

电池管理系统(BMS)系列(四)—数据采集之温度

属于BMS系列文章,介绍了电池包温度采集相关方式

zxx52113140的博客 5462

山景BP10_128DBG开发板ADC_Key驱动

最近在学习山景BP10_128DBG开发板,想使用开发板上的按键。看了看原理图和之前用过的按键好像有点不一样。常见的按键都是判断IO口是否被拉低或拉高来判断按键是否被按下。山景BP10_128DBG开发板上的按键是ADC按键,每个按键按下之后ADC的采样值是不同的,通过ADC采样回来的值进而判断哪个按键按下。这种方式核心思想就是用一个ADC通道来节约IO口,对于IO紧张的芯片是一个不错的解决思路。

weixin_56646002的博客 1311

机器学习(十八):Bagging和随机森林

本文深入探讨了集成学习及其在随机森林中的应用。对集成学习的基本概念、优势以及为何它有效做了阐述。随机森林,作为一个集成学习方法,与Bagging有紧密联系,其核心思想和实现过程均在文中进行了说明。还详细展示了如何在Sklearn中利用随机森林进行建模,并对其关键参数进行了解读,希望能帮助大家更有效地运用随机森林进行数据建模。

无敌小怪兽_Zz的博客 2673

InfiniteTalk (Wan2.1) 数字人 A800 落地实战:从依赖地狱到完美运行的保姆级指南

摘要:本文详细记录了在A800(80GB)服务器上部署InfiniteTalk开源数字人项目的完整流程。该项目基于阿里Wan2.1视频生成模型,支持无限时长流式生成,但环境配置极其复杂。作者总结了18个关键问题点,包括Python版本冲突、CUDA算子缺失等,并提供了黄金配置方案:使用Python3.10+PyTorch2.5.1环境,精准控制FlashAttention等核心库版本,以及针对A800的显存优化策略。最终实现480P视频30秒/步的生成速度,相比默认配置提升3.7倍性能。

软件工程师文艺 2046

bagging算法思想及与DNN中的dropout思想的一致性

然而,为了获得好的集成,我们同时还希望个体学习器不能太差,如果采样出的每个子集都完全不同,则每个学习器都只用到了一小部分的训练数据,甚至不足以进行有效学习。**可以在每个神经元结点处独立采样一个二进制掩膜,采样一个掩膜值为 0 的概率是一个固定的超参数,则掩膜值为 0 的被去除,掩膜值为 1 的正常输出。照上面的自助采样法,我们可以采样出 T 个含有 m 个训练样本的采样集,然后基于每个采样集训练出一个基学习器,再将这些基学习器进行结合,这便是 bagging 方法的基本流程。,这就是自助采样法的结果。

229

magic-api的鉴权机制配置 (附实战代码)

引入magic-api及相关数据库驱动依赖 配置yml文件和编辑器JS文件 实现登录鉴权逻辑,包括用户验证和Token处理 接口鉴权拦截器设计,确保接口访问安全性 文章提供了完整的代码示例,帮助开发者快速集成magic-api框架并实现权限控制功能。

码农研究僧的博客 228

AI Agent Harness Engineering 的“热插拔”能力:模块化设计思路

本文我会结合我在大厂做AI Agent平台的实战经验,从核心概念、架构设计、代码实现、落地实战多个维度,给大家详细讲解AI Agent Harness Engineering的核心能力——热插拔的模块化设计思路。我们会从问题根源出发,一步步搭建一个完整的支持热插拔的Agent Harness框架,包含组件抽象、注册中心、生命周期管理、配置驱动、容错机制等核心模块。

AI天才研究院 503
上一篇: 拒绝加班狗,PDF一行代码提取Excel文件
下一篇: 高中Up主200天肝出偷懒机器人!可拎包,全场景跟随,已获百万播放
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值