(二)bagging 方法

深度探索:机器学习中的Bagging原理及其应用 Bagging作为一种简单而有效的集成学习策略,通过引入随机性增强个体学习器的多样性,显著提升了模型的稳定性和泛化能力。尽管存在对异常值敏感、解释性较弱等问题,但其在各类机器学习任务中展现出强大的实用性,特别是在处理复杂、非线性、高维数据集时。未来,研究方向可能包括: 改进个体学习器选择:探索更适用于Bagging的个体学习器类型,如深度学习模型、规则列表等,以适应不同领域的应用需求。 动态调整集成参数:研究自适应调整个体学习器数量、自助采样比例等参数的方法,实现模型性能的自动优化。 阅读详情

作者:chen_h
微信号 & QQ:862251340
微信公众号:coderpai


在之前的文章中,你看到了不同的分类算法以及如何正确验证和评估模型质量的技术。现在,我假设你已经为你的问题选择了最佳模型,并且正在努力进一步提高其准确性。在这种情况下,你需要应用一些更高级的机器学习技术,其中有一种技术就是集成学习。

集成学习是由一组共同分类器或者不同分类器来作为一个整体。举个例子,比如一个音乐会,我们会同时演奏好几种不同的乐器,来构成美妙的音乐,这个合奏的过程就是集成学习,我们来收集不同的音符,从而组装成不同的美妙音乐。

1. 集成

法庭陪审团在某种意义上讲就是一个集成学习。它指出,如果陪审团的每个成员做出独立判断并且每个陪审员正确决定的概率大于 0.5 ,那么整个陪审团正确决定的概率随着陪审员总数的增加而增加,并且最终会倾向于 1。另一方面,如果每个陪审员的正确概率小于 0.5 ,那么整个陪审团正确决定的概率随着陪审员的数量增加而减少,并趋于零。

让我们为整个定理写一个简单的表达式:

  • N 表示陪审员总数;
  • m 表示占多数意见的最小陪审员数量,即 m=N+12m=\frac{N+1}{2}m=2N+1​;
  • (Ni)\binom{N}{i}(iN​) 是具有 N 个元素的集合中的 i 个元素组合的数量;
  • p 表示陪审员正确决定的概率;
  • μ\muμ 表示整个陪审团正确决定的概率;

那么:

$\mu = \sum{N}_{i=m}\binom{N}{i}p{i}(1-p)^{N-i} $

从等式中,我们可以看到,如果 p>0.5p>0.5p>0.5 ,那么 μ>p\mu > pμ>p 。而且,如果 N→∞N \to \inftyN→∞ ,那么 μ→1\mu \to 1μ→1 。

让我们看另一个非常有名的集成学习例子:在 1906 年,Francis Galton 参观了普利茅斯的一个乡村集市,在哪里他看到了为农民举办的比赛。800 名参与者试图估计被屠宰的公牛的重量。公牛的实际重量是 1198 磅。虽然没有一个农民可以猜出动物的准确重量,但他们预测的平均值是 1197 磅。

在机器学习领域,我们也采用了类似的减少错误的想法。

2. Bootstrapping

Bagging (也称为 Bootstrap aggregation) 是最早,也是最基本的集成技术之一。它是由 Leo Breiman 在 1994 年提出的。Bagging 是基于自举的统计方法,这使得对复杂模型的许多统计评估变得可行。

Bootstrap 方法如下。设大小为 N 的样本 X。我们可以通过随机均匀的从训练集中抽取 N 个元素,作为采集池。换句话说,我们从大小为 N 的原始样本中随机选择几个元素,并且放回,重复进行几次。所以,每个元素被抽取到的概率都是 1N\frac{1}{N}N1​ 。

假设我们一个人从一个袋子里面拿球。在每个步骤中,将所选择的球放回到袋子中,以便相应的进行下一次选择,即从相同数量的球 N 开始。请注意,因为我们将球是放回的,所以新样本中可能存在重复。我们称这个新样本为 X1X_1X1​ 。

通过重复该过程 M 次,我们创建 M 个采集样本 X1,X2,…,XMX_1, X_2, …, X_MX1​,X2​,…,XM​ 。最后,我们有足够数量的样本,可以计算原始分布的各种统计数据。

在这里插入图片描述

对于我们的例子,我们将使用熟悉的 telecom_churn 数据集。以前,当我们讨论特征重要性的时候,我们发现此数据集中最重要的特征之一就是对客户服务的调用次数。让我们可视化看一下数据,并且分析一下数据的分布状态。

import pandas as pd
from matplotlib import pyplot as plt
plt.style.use('ggplot')
plt.rcParams['figure.figsize'] = 10, 6
import seaborn as sns
%matplotlib inline

telecom_data = pd.read_csv('../input/telecom_churn.csv')

fig = sns.kdeplot(telecom_data[telecom_data['Churn'] == False]['Customer service calls'], label = 'Loyal')
fig = sns.kdeplot(telecom_data[telecom_data['Churn'] == True]['Customer service calls'], label = 'Churn')        
fig.set(xlabel='Number of calls', ylabel='Density')    
plt.show()

在这里插入图片描述

正如你所看到的,忠诚的客户对客户服务的呼叫次数少于组中离开的客户。现在,估计每个组中的平均客户服务呼叫数量可能是个好主意。由于我们的数据集很小,所以我们不会通过简单的计算原始样本的平均值来获得良好的估计。我们最好应用 bootstrap 方法。让我们从原始群体中生成 1000 个新的样本,并生成平均值的区间估计值。

import numpy as np

def get_bootstrap_samples(data, n_samples):
    """Generate bootstrap samples using the bootstrap method."""
    indices = np.random.randint(0, len(data), (n_samples, len(data)))
    samples = data[indices]
    return samples

def stat_intervals(stat, alpha):
    """Produce an interval estimate."""
    boundaries = np.percentile(stat, [100 * alpha / 2., 100 * (1 - alpha / 2.)])
    return boundaries

# Save the data about the loyal and former customers to split the dataset
loyal_calls = telecom_data[telecom_data['Churn'] == False]['Customer service calls'].values
churn_calls= telecom_data[telecom_data['Churn'] == True]['Customer service calls'].values

# Set the seed for reproducibility of the results
np.random.seed(0)

# Generate the samples using bootstrapping and calculate the mean for each of them
loyal_mean_scores = [np.mean(sample) 
                       for sample in get_bootstrap_samples(loyal_calls, 1000)]
churn_mean_scores = [np.mean(sample) 
                       for sample in get_bootstrap_samples(churn_calls, 1000)]

# Print the resulting interval estimates
print("Service calls from loyal: mean interval", stat_intervals(loyal_mean_scores, 0.05))
print("Service calls from churn: mean interval", stat_intervals(churn_mean_scores, 0.05))
Service calls from loyal: mean interval [ 1.4077193   1.49473684]
Service calls from churn: mean interval [ 2.0621118   2.39761905]

最后,我们看到, 95% 的置信度,来自于忠诚客户的平均客户服务电话数量在 1.4 到 1.49 之间,而被调查的客户平均数为 2.06 到 2.4 。此外,请注意忠诚客户的间隔时间较窄,这是合理的,因为与被调用的客户相比,他们拨打的电话数量较少(0,1或者2),知道他们变得厌倦或者转换供应商为止。

3. bagging

现在你已经学习了,如何去采样,接下来我们就可以继续学习 bagging 算法了。

假设,我们有一个训练集 X,利用自举,我们生成样本 X1,X2,…,XMX_1, X_2, …, X_MX1​,X2​,…,XM​ 。现在,为每一个自举的样本,我们都去训练一个专属于它的分类器 ai(x)a_i(x)ai​(x) 。最终的分类器是平均所有这些单独分类器的输出。在分类算法中,这种技术称之为投票:

a(x)=1M∑i=1Mai(x)a(x)=\frac{1}{M}\sum^{M}_{i=1}a_i(x)a(x)=M1​∑i=1M​ai​(x)

下面的图片展示了整个算法的流程:

在这里插入图片描述
让我们考虑一个回归问题,并且设计每个基算法为 b1(x),b2(x),…,bn(x)b_1(x), b_2(x), …, b_n(x)b1​(x),b2​(x),…,bn​(x) 。假设存在为所有输入定义的一个真实答案 y(x)y(x)y(x) ,也就是我们的目标函数,并且数据的分布为 p(x)p(x)p(x) 。那么我们可以表达每个回归函数的误差如下所示:

ϵi(x)=bi(x)−y(x), i=1,…,n\epsilon_{i}(x) = b_i(x)-y(x), \space i=1,…,nϵi​(x)=bi​(x)−y(x), i=1,…,n

并且均方误差的预期值为:

Ex[(bi(x)−y(x))2]=Ex[ϵi2(x)]E_{x}[(b_{i}(x)-y(x))^{2}]=E_{x}[\epsilon_i^2(x)]Ex​[(bi​(x)−y(x))2]=Ex​[ϵi2​(x)]

然后,所有回归函数的平均误差如下:

E1=1nEx[∑ϵi2(x)]E_{1}=\frac{1}{n}E_{x}[\sum\epsilon_i^2(x)]E1​=n1​Ex​[∑ϵi2​(x)]

我们假设误差是无偏差的,并且不相关的,即:

Ex[ϵi(x)]=0E_{x}[\epsilon_i(x)]=0Ex​[ϵi​(x)]=0

Ex[ϵi(x)ϵj(x)]=0,i≠jE_{x}[\epsilon_i(x) \epsilon_j(x)]=0, i \ne jEx​[ϵi​(x)ϵj​(x)]=0,i̸​=j

现在,让我们构建一个新的回归函数,它将对各个函数的值进行平均计算:

a(x)=1n∑i=1nbi(x)a(x)=\frac{1}{n}\sum^{n}_{i=1}b_{i}(x)a(x)=n1​∑i=1n​bi​(x)

让我们找到他的均方误差:

在这里插入图片描述

因此,通过平均各个输出答案,我们将均方误差减少了 n 倍。

让我们回想一下,总样本误差的公式为:

在这里插入图片描述

当我们在不同数据集上面进行训练模型时,Bagging 通过减少误差的方差来降低误差。换句话说,bagging 模型能降低过拟合。bagging 能起到这种效果是因为:由于各个数据集是不同的,所以在投票的环节他们的误差被相互抵消了。另外,在一些采样数据中,异常值可能就直接被忽略了。

scikit-learn 库支持使用元估计 BaggingRegressor 和 BaggingClassifier 进行 Bagging 学习。你可以使用大多数算法作为 Bagging 算法的基础。

让我们来看看 Bagging 在实践中是如何工作的,并将其与决策树进行比较。为此,我们将使用 sklearn 文档中的例子。

在这里插入图片描述

决策树的误差为:

0.0255(Err)=0.0003(Bias2)+0.0152(Var)+0.0098(σ2)0.0255(Err)=0.0003(Bias^{2})+0.0152(Var)+0.0098(\sigma^{2})0.0255(Err)=0.0003(Bias2)+0.0152(Var)+0.0098(σ2)

Bagging 的误差为:

0.0196(Err)=0.0004(Bias2)+0.0092(Var)+0.0098(σ2)0.0196(Err)=0.0004(Bias^{2})+0.0092(Var)+0.0098(\sigma^{2})0.0196(Err)=0.0004(Bias2)+0.0092(Var)+0.0098(σ2)

从上图中可以看出,Bagging 误差中的方差比决策树要小很多。请记住,我们已经在理论层面证明了这一点。

Bagging 算法对小样本数据集是非常有效的。甚至丢弃训练数据的一小部分构建异构数据集也是可以的。如果你有一个大型数据集,则可以考虑生成尺寸小得多的 bootstrap 样本。

上面的例子不太可能适用于任何实际工作。这是因为我们强烈假设我们的个体错误是不相关的。通常情况下,这对于实际应用来说过于乐观了。当这个假设是错误的时候,误差的减少将不能买显著。后续文章,我们会讨论一些更加复杂的集成学习方法,这些方法在现实问题中实现更加准确的预测。

4. OOB 错误(out of bag error)

在我们处理数据实验时,总会去做一个验证集来保证我们模型的适用性。但是在我们这个 bagging 算法的情况下,我们不需要适用交叉验证或者保持一定的样本以获得无偏差错误估计,这是为什么呢?因为,在集成技术中,误差估计已经在内部发生了。

使用原始数据集的不同采集样本来构造随机树。大约 37% 的输入被排除在特定的 bootstrap 样本之外,并且不用于构造第 k 个树。

这很容易证明,假设我们的数据集中有 ℓ\ellℓ 个数据,在每个步骤中,每个数据点都有相同的概率被取到,概率为 1ℓ\frac{1}{\ell}ℓ1​ 。没有包含这种元素的概率是 (1−1ℓ)ℓ(1-\frac{1}{\ell})^{\ell}(1−ℓ1​)ℓ ,当 ℓ→+∞\ell \to +\inftyℓ→+∞ ,这个值就无限接近于 1e\frac{1}{e}e1​ ,然后,选择特定数据的概率就是 1−1e≈631-\frac{1}{e}\approx63%1−e1​≈63 。

让我们直观的了解 OOBE 估算是如何工作的:

在这里插入图片描述

上图的上半部分代表我们的原始数据集,我们将它分为训练(左)和测试(右)组。在作图中,我们绘制了一个网格,根据类完美的划分我们的数据集。现在,我们使用相同的网络来估计测试集上正确答案的份额。我们可以看到,我们的分类器在训练期间未使用的 4 个案例中给出了错误预测(左侧),因此,我们的分类器的准确度为 $\frac{11}{15}=73.33 % $

总而言之,每个基本算法都在原始例子的约 63% 上进行训练。它可以在剩余的37% 上进行验证。OOB 估计只不过是基础算法的平均估计值,那些 37% 的输入被排除在训练之外。

Bagging算法 集成学习有两个流派,一个是boosting派系,它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派,它的特点是各个弱学习器之间没有依赖关系,可以并行拟合。 Bagging算法(英语:Bootstrap aggregating,引导聚集算法),又称装袋算法,是机器学习领域的一种团体学习算法。最初由Leo Breiman于1996年提出。Bagging算法可与其他分类、回归算法结合,提高... 阅读详情

相关推荐

集成学习方法之Bagging,Boosting,Stacking

        “团结就是力量,这力量是铁,这力量是钢… …”,小学学的一首歌,至今还刻骨铭心。“团结就是力量”,完美的阐述了机器学习中非常强大的集成学习方法的思想。其实,集成学习方法就这么简单,将多个模型组合在一起会得到更强大的模型。本篇就让我们一起来探讨比赛必用神技——集成学习方法(Ensemble Learning Method)。   &n...

NLP_谢立侠 4604

集成方法——Bagging

拆分集成评估方法

多头注意力探索Now 2246

关于集成学习的总结(二) Bagging思想

Bagging 方法 本篇博客的关于随机森林的优缺点参考了https://blog.youkuaiyun.com/zhongjunlang/article/details/79488955 来自上篇投票法的启示,我们想要得到泛化性较强的集成,集成中的分类器应尽可能的相互独立。这个独立可能显示任务中很难做到,于是人们设法给基学习器较大的差异,那么怎么做呢?一种可能的方法就是对基分类器进行采样,让他产生不同的...

PythonstartL的博客 3736

深度学习:Bagging 方法

它通过将多次采样得到的不同训练集分别训练多个模型,然后将这些模型的预测结果结合在一起,来降低模型的方差,从而提升整体的准确性和稳定性。:对于分类问题,使用多个模型预测的结果进行投票(即多数表决),最终的预测结果为得票最多的类别。对于回归问题,取多个模型预测结果的平均值作为最终的预测结果。Bagging 的经典应用包括随机森林,这种方法通过 Bagging 集成多个决策树,显著提高了模型的准确率和鲁棒性。Bagging 通过有放回的采样方法,从训练集生成多个不同的数据子集,每个子集用来训练一个基模型。

m0_46135173的博客 1512

集成学习法之bagging方法和boosting方法

一、集成学习法(Ensemble Learning) 首先,让我们先来了解一下,什么是集成学习法。 ①  将多个分类方法聚集在一起,以提高分类的准确率。 (这些算法可以是不同的算法,也可以是相同的算法。) ②  集成学习法由训练数据构建一组基分类器,然后通过对每个基分类器的预测进行投票来进行分类 ③  严格来说,集成学习并不算是一种分类器,而是一种分类器结合的方法...

Octal_H的博客 670

NHANES更新数据后,权重计算方式也更新了

官网说明在此:如果你比我还懒,我下载了几个说明文件。2021年8月至2023年8月的总样本量与之前的2年周期相似。然而,。特别是,与之前包括过度抽样的周期相比,非西班牙裔白人的样本量较高,而非西班牙裔黑人的样本量较低。此外,60岁及以上人群的样本量较高,而年轻群体的样本量较低。子组的估计值可能具有较低的精确度,因此,检测组间差异的统计能力可能较低。此外,年龄和种族/西班牙裔亚组(尤其是儿童和青少年年龄组)的估计值可能会显示意想不到的模式。

珏世佳人的博客 2412

Bagging与Boosting的区别与联系

1 Bagging与Boosting的区别与联系 Baggging 和Boosting都是模型融合的方法,可以将弱分类器融合之后形成一个强分类器,而且融合之后的效果会比最好的弱分类器更好。 1.1 Bagging介绍 用抽样的方式从原始样本中进行有放回的多次抽样(或者是抽特征),这种方法叫做Bootstraping,抽取k次每次抽取n个样本,这样就生成了k个样本容量为n的数据集。原始数据集中的样本可能是多次被抽到也可能是没有被抽到。 每次使用一个数据即选练得到一个模型,这样k个数据集就可以得到k个模

qq_31267769的博客 2万+

【机器学习实战笔记 9】Bagging与随机森林(二):Bagging方法6大面试热点问题

Bagging方法6大面试热点问题。

Wilber的blog。心若有所向往,又何惧道阻且长。 1081

STM32开发实战--解决STM32CubeMX生成代码时钟初始化卡死问题

本文详细分析了STM32CubeMX生成代码在时钟初始化阶段卡死的问题,提供了多种解决方案,包括简单修改和稳健的等待机制。通过深入探讨HAL库的时钟初始化陷阱及硬件层面的根本原因,帮助开发者快速定位并解决STM32开发中的常见问题。

weixin_26965807的博客 443

Simulink中通过MEX与MinGW实现C/C++结构体变量的高效导入

本文详细介绍了在Simulink中通过MEX工具链与MinGW编译器,高效导入C/C++结构体变量的完整流程。文章从需求背景出发,逐步讲解了MinGW环境配置、.h文件编写规范、核心导入命令Simulink.importExternalCTypes的使用,以及如何在MATLAB Function模块和总线创建器中调用自定义结构体,旨在实现模型与代码的无缝对齐,为后续仿真和代码生成奠定坚实基础。

weixin_29056781的博客 345

【集成学习】Bagging方法

本节通过5个不同的实际应用案例展示了Bagging方法的强大能力。无论是在分类问题(如客户流失预测、信用卡欺诈检测),还是在回归问题(如股票价格预测、患者疾病预测),Bagging都能有效提高模型的准确性和稳定性。通过集成多个基学习器,Bagging不仅能够减少方差,还能提升模型的鲁棒性,在实际应用中发挥了重要作用。

人工智能(AI)技术,大模型技术,深度学习,机器学习,计算机视觉,AI工具实践应用等分享 1193

Win11上WSL2安装Ubuntu22.04避坑指南:从镜像源到C++环境配置

本文详细介绍了在Win11系统上安装和配置WSL2及Ubuntu22.04开发环境的完整流程与避坑指南。内容涵盖从解决网络安装错误、更换国内镜像源以加速软件更新,到一站式配置C++开发工具链(包括GCC、GDB、CMake等),并提供了提升WSL2使用体验的实用技巧和故障排除方法,帮助开发者高效搭建稳定的Linux开发环境。

weixin_29306261的博客 477

bagging方法

bagging前言一、数据采样----有放回的采样二、使用步骤1.引入库2.读入数据总结 前言 前篇文章介绍了集成学习的三种方式,本篇具体梳理bagging方式的详细过程和实现。 一、数据采样----有放回的采样 1. 对一个包含 m 个样本的数据集,base learner有k个,进行 m 次有放回的随机采样,这样得到k个大小为m的采样集分别给k个模型进行训练。 2. 没有被采样到的样本作为验证集,因为是有放回的采样,所以采样到的样本有可能有重复样本。 3. 假设一个样本被抽取的概率是1/m,则抽.

sinat_38189533的博客 1249

告别VMware Tools!用open-vm-tools在Ubuntu 22.04上搞定共享文件夹(附开机自动挂载)

本文详细介绍了在Ubuntu 22.04上使用open-vm-tools替代VMware Tools实现高效共享文件夹管理的方法。通过开源工具open-vm-tools,用户可避免传统方案的兼容性问题,享受自动适配内核、系统更新同步等优势。文章包含从安装配置到开机自动挂载的全流程指导,特别适合在VMware虚拟机中运行Ubuntu Desktop的开发者提升工作效率。

weixin_32520095的博客 585

C#上位机实战:PLC与检测设备无缝对接,构建产品质量实时判定系统

本文分享了基于C#开发的汽车零部件质量检测系统实现经验。系统采用三层架构:设备层(PLC/视觉相机/三坐标)、通信层(OPC UA/SDK/串口)和应用层(数据采集/判定/存储)。重点解决了三大技术难点:1)通过OPC UA订阅模式将PLC通信延迟从500ms降至50ms;2)反编译厂商Demo破解视觉SDK对接难题;3)采用时间戳+产品ID实现多设备数据同步。系统上线后质检人员减少67%,误判率降至0.5%,数据追溯效率显著提升。文章强调工业场景下稳定性优先于技术复杂度,实用经验值得借鉴。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 804

bootstrap, boosting, bagging 几种方法的联系

这两天在看关于boosting算法时,看到一篇不错的文章讲bootstrap, jackknife, bagging, boosting, random forest 都有介绍,以下是搜索得到的原文,没找到博客作者的地址, 在这里致谢作者的研究。 一并列出一些找到的介绍boosting算法的资源: (1)视频讲义,介绍boosting算法,主要介绍AdaBoosing    http://v

jlei_apple的专栏 2万+

【即插即用模块】Transformer篇 | CVPR 2025 | D2T:双域特征融合,完美适配缺陷检测/小目标检测和分割等频域细节敏感的任务!

本文提出了一种基于小波和原型增强的双域Transformer(WPFormer)用于像素级表面缺陷检测。该模型通过Dual-domain Transformer (D2T)模块融合频域和空间域特征:小波增强交叉注意力(WCA)分解高低频特征并加权平衡,增强缺陷细节捕捉;原型引导注意力(PCA)生成全局原型向量强化关键信息聚合。实验表明,该模块在缺陷检测任务中性能优于现有方法,通过频域细节增强和全局依赖建模有效提升了复杂场景下的检测效果。代码已开源,适用于对频域敏感的目标检测和分割任务。

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 1375

Bagging方法和Dropout方法的简单解释

通过这篇文章,我们了解了Bagging方法和Dropout方法的基本概念。Bagging方法就像是很多个独立的朋友一起学习,而Dropout方法就像是在课堂上轮流回答问题。这两种方法都可以帮助计算机更好地学习,就像我们通过不同的方式学习新知识一样。希望你们喜欢这个简单的解释!

weixin_41544125的博客 985

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

spark.mllib源码阅读-bagging方法

在训练集成分类器时,关键的一步在于如何从全训练样本集中构建子样本集提供给子分类器进行训练。目前主流的两种子样本集构造方式是bagging方法和boosting方法。bagging方法的思想是从全样本集中有放回的进行抽样来构造多个子样本集,每个子样本集中可以包含重复的样本。对每个子样本集训练一个模型,然后取平均得到最后的集成结果。baggingbagging方法的主要目的是为了降低模型的varian

Forever-守望 2573

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

bagging方法 套袋_套袋引导汇总

bagging方法 套袋A machine learning ensemble used to improve the accuracy and stability of algorithms in regression and statistical classification. 一种机器学习集合,用于提高回归和统计分类中算法的准确性和稳定性。 Ensemble machine learnin...

weixin_26750481的博客 1314

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

集成方法 Bagging原理

1.Bagging方法思路 Bagging独立的、并行的生成多个基本分类器,然后通过投票方式决定分类的类别 Bagging使用了自助法确定每个基本分类器的训练数据集,初始样本集中63.2%的数据会被采样到 从Training Sets中每次取1个,放回,再取1个,放回,重复直到取到n个组成Boot Strap1 同理生成Boot Strap2、Boot Strap3、……、Bo...

dihe3772的博客 1048

Bagging

Bootstrap Sample有放回的随机采样,如下图所示:之所以采用这样的方式是因为在应用中,获取N个服从同一分布的原始数据集是不现实的,而使用这种有放回的Bootstrap 采样方式不会影响到模型的准确性(以方差来衡量),可参考文献3中Bootstrap Sample部分。 有放回的随机采样,其实对模型的性能来说不是至关重要的,可以用无放回的随机采样来取代。Bagging (Bootstr

燃烧吧!我的小宇宙! 1万+

bagging算法_集成学习方法-bagging-RandomForest

Bagging:集成学习的主要想法是将若干个弱分类器,通过线性组合,组成一个较强的模型。bagging集成学习的方式,可以实现模型的并行化训练,并且能有效的降低方差。Bagging算法流程::(1) 从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本。共进行k轮抽取,得到k个训练集。(k个训练集之间是相互独立的)Bootstraping也称为自助法,它是...

weixin_39869593的博客 1356

模型融合方法之Bagging与Boosting

Bagging 从原始样本集中有放回抽样,获取训练子集。假设训练集有N个样本,每轮从训练集中有放回的抽取N个训练样本。共进行k轮抽取,得到k个训练子集。(k个训练集之间是相互独立的) 每个训练子集训练一个模型,k个训练集共得到k个模型。 对分类问题:投票;回归问题:取均值 Boosting 使用全部样本训练每个模型; 每轮训练改变样本的权重,减小在上一轮训练正确的样本的权重,增大错误样本的权...

qq_34615112的博客 859
上一篇: (一)机器学习中的集成学习入门
下一篇: 在 TensorFlow 中实现简单的自动编码器
coderpai
博客等级 码龄10年 1082粉丝 469原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值