集成算法(Ensemble Learning)

最新推荐文章于 2025-04-25 17:36:16 发布
最新推荐文章于 2025-04-25 17:36:16 发布
阅读量326 收藏 3
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Chc7777777/article/details/134207078
本文介绍了数据预处理和划分过程，详细阐述了Bagging（自助法）、Voting（投票法）、Stacking（堆叠模型）和Boosting（尤其是AdaBoost）的理论与应用，包括模型建立、特征重要性和训练结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

数据预处理

导入数据

数据划分

将data的数据最后一行之前的数据划分未特征，最后一行的数据划分为y，以y数据作为标签进行分类，将训练集测试集八二分

1 Bagging 

理论

在Bagging种，利用boostrap方法（自助法）从整体数据集种采取有放回抽样得到N个数据集学习 出一个模型。最后的结果是由N个模型输出得到。分类问题采取N个模型预测投票的形式，回归问题采取N个模型预测平均的方式。

导入库

模型建立

Bagging一次只能使用一个基础学习器，但是可以将一个基础学习器使用多次。

bootstrap是说样本是否有放回，bootstrap_features是说特征是否放回

打印报告 

查看模型用的学习器以及查看模型用了什么特征

2 Voting（基学习器一般不同 投票法）

理论

投票法是一种遵循少数服从多数原则的集成学习模型，通过多个模型的集成降低方差，从而提高模型的鲁棒性。

导入库

导入模型

Voting又称投票学习器， 分为硬投票和软投票

Voting的模型器可以选择多种，如果是硬投票，会把每个模型预测的值进行加法如何选出最好的值，选取基模型的分类结果。

如果是软投票，就要设置权重，将软投票权重最大值给投选处理，输出的预测结果是基模型的分类概率。

模型报告

模型特征重要性

3 Stacking (堆叠模型)

理论

Stacking是说训练一个模型用于组合其他各个模型。首先我们训练多个不同模型，然后把多个模型的输出结果作为输入来训练一个模型，以得到结果。

导入包

学习器列表

导入模型

Stacking类型神经网络，初级学习器就相当于神经网络的隐藏层，数据经过初级学习器之后到达次级学习器，类似于神经网络的wx+b 经过加权权重来对数据进行处理。这里初级学习器也可以学选择多种，cv=5，是交叉验证，这里我们可以自己定义cv等于多少，stack_method的堆叠方法有三种，

模型训练及结果

特征重要性

4 Boosting（集成算法）

理论

Boosting是一种可以用来减小监督学习中偏差的机器学习算法，同时也是学习一系列弱分类器，并将其组合为一个强分类器。

下面我们介绍第一种AdaBoost

理论 刚开始训练对每个训练赋予相同权重，利用算法训练n轮，每次训练后，对训练失败的样本赋予较大权重，让学习算法在每次学习中更注意学错的样本，从而得到多个预测函数

导入包

建立模型

Boosting的默认学习器是决策树，我们可以修改为基础学习器

可以设置模型数量来进行训练，这里有两个优化算法 

模型训练及结果

Introduction to Ensembling/Stacking
weixin_41697507的博客
04-15 519
Introduction This notebook is a very basic and simple introductory primer to the method of ensembling (combining) base learning models, in particular the variant of ensembling known as Stacking. In a ...
机器学习集成学习 Ensemble Learning（常用集成算法汇总）
daotian
05-30 3603
一、Voting 投票 1、voting原理 假设有1000种分类器，每个分类器预测的正确率只有50.5%，如果以预测类别最多的作为预测结果，则准确率可达到60%，如果有10000种分类器，则准确率可达到84%左右。该结果的前提是分类器彼此独立，但是现实中它们都在同一个数据集上进行训练，可能会犯同样的错误，所以准确率会有降低。 2、Voting可以分为硬投票法（Harding Voting）和软投票法（Soft Voting） -- 硬投票法 根据分类器预测的结果出现最多的类别作为预测值。 --
Ensenble集成算法-Bagging,boosting,随机森林
yuanlulu的博客
09-13 2924
概述 集成学习是指将若干弱分类器组合之后产生一个强分类器。 每个弱分类器的训练样本、特征选择和权重都不一样，最终结果由弱分类器的结果投票产生。 由于各个弱分类器之间具有差异性，因此集成算法可解决过拟合问题。同时还能减少偏差和方差，提高分类结果。 自助聚合算法Bagging 采用有放回的方式随机抽取部分样本训练弱分类器，重复K次。得到K个弱分类器。等权重投票。 随机森林RF 思...
Ensembling模型融合
shanesu的博客
04-01 4002
>>本文所有内容整理自Coursera - Advanced Machine Learning-How to Win a Data Science Competition: Learn from Top KagglersAdvanced Machine Learning一、average最基础的，将不同模型的结果平均（或加权平均），得到最终的估计二、bagging概念：相同模型不同参数...
Ensemble几种方式原理
owenfy的博客
03-12 1万+
kaggle-ensembling guideblendnigstacking代码模型融合接口常见的 Ensemble 方法有这么几种：Bagging：使用训练数据的不同随机子集来训练每个 Base Model，最后进行每个 Base Model 权重相同的 Vote。也即 Random Forest 的原理。Boosting：迭代地训练 Base Model，每次根据上一个迭代中预测错误的情况修...
Model ensembling
Sigh～
07-27 1384
说明： http://mlwave.com/kaggle-ensembling-guide/ 代码： https://github.com/emanuele/kaggle_pbr/blob/master/blend.pyVoting ensembles 采用投票的方式，听大多数人的意见 各个模型的相关性不要太大，尽可能多样性。比如一个组合的accuracy是 80% 80% 70%，另一个的为
集成学习ensemble learning
05-09
为了达到这个目的，集成学习使用不同的算法来训练基础学习器，并且将它们的预测结果以某种方式进行合成，从而得到更准确的预测。集成学习的方法可以分为两大类：串行集成和并行集成。 串行集成，也称为Boosting，是...
集成学习（Ensemble Learning）
最新发布
Rhett_Butler0922的博客
04-25 1023
高精度：集成学习通常比单一模型表现更好。泛化能力强：通过降低方差和偏差，提升在新数据上的表现。灵活性：支持多种基模型和组合方式。鲁棒性：对噪声和异常值的处理能力较强（尤其 Bagging）。集成学习是机器学习中一种强大而通用的方法，通过组合多个弱学习器实现高精度和强泛化能力。Bagging：通过随机采样降低方差，代表算法是随机森林。Boosting：通过加权调整降低偏差，代表算法有 AdaBoost、XGBoost、LightGBM、CatBoost。Stacking。
机器学习之集成学习（Ensemble Learning）视频教学
06-09
集成学习是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合从而...集成学习可以提升机器学习算法。本视频教学课程主要讲解：个体与集成、Boosting、Bagging与随机森林、结合策略、多样性等知识点。
ensemblelearning.rar_bagging集成学习_随机森林_集成学习算法_集成学习；
07-14
集成学习（Ensemble Learning）是一种在机器学习领域广泛应用的技术，其核心思想是通过结合多个学习器（也称为基学习器或个体模型）的预测来提高整体的预测性能。这种策略可以显著减少过拟合的风险，并在许多情况下...
模型集成（model ensembling）
weixin_47492805的博客
04-30 999
集成是指将一系列不同模型的预测结果汇集到一起，从而得到更好地预测结果。它可以打败任何单个模型，无论这个模型的表现多么好。近年来，一种在实践中非常成功的基本集成方法是宽且深的模型类型，结合了深度学习和浅层学习。这种模型联合训练一个深度神经网络和一个大型的线性模型。
集成（Ensembling）学习 Bagging Boosting Stacking
weixin_43877335的博客
07-18 483
Boosting是按顺序训练模型，每个模型对其前序做出改正，GradientBoosting是让新的模型针对前一个模型进行拟合，AdaBoost是让新的模型关注前一个模型中欠拟合的训练实例，增加分类错误的训练实例的权重。Bagging，训练n个模型，每个模型独立并行训练，回归问题将每个模型的输出做平均得到结果，分类问题对每个模型输出的类别做统计，选出投票最多的类别作为结果。，再输入最终的模型得到最终的输出，可以多层。的输出看成是特征送入下一层的。...
Ensembling&Stacking models（模型融合）
akon_wong_hkbu的博客
10-18 1537
具体见GitHub https://github.com/wangxupeng/Competition/blob/master/Kaggle-titanic/Ensembling%20%26%20Stacking%20models.ipynb
【数据挖掘】【笔记】模型集成之ensembling guide
moshlwx的博客
06-25 616
KAGGLE ENSEMBLING GUIDE http://mlwave.com/kaggle-ensembling-guide
Ensembling, Lagrange
LegenDavid's warehouse
01-09 447
Ensembling, Lagrange 　　据我观察，名字带“拉”的人一般都很厉害，比如马拉多纳、希拉里、狄波拉、张娜拉、杜拉拉、陈法拉、尼古拉斯·赵四、地铁站的罗拉…… 　　但跟我们今天的大神拉格朗日（Lagrange）一比就都被秒成了渣渣，因为每一个上过高数和物理的我们都被拉大神无情碾压摩擦过啊~ 　　童鞋，请站起来回答拉格朗日中值定律是啥？ 　　童鞋，请站起来回答拉
[转]KAGGLE ENSEMBLING GUIDE
Sigh～
06-15 1418
原文地址：http://mlwave.com/kaggle-ensembling-guide/Voting 投票机制，少数服从多数，多个弱分类器，从概率上可以计算组合起来正确可能性更高 各个分类器相关性太高的话，最终结果不好。选择相关性不太强的分类器 weighing，加权重。比如一种5个classifier，最强的一个算三票，其余各个算一票。这样子，The only way for the inf
内涵：半监督学习之Temporal Ensembling For Semi-supervised Learning
算法工程师进阶之路
12-27 6396
  这篇文章是ICLR2017的一篇文章，是半监督学习领域的一篇经典文章，以这篇文章作为进入半监督学习的一个切入点。   在这篇文章中，作者的将其工作描述为self-ensembling，而具体来讲有两点：1. Π model 2. temporal ensembling。 We describe two ways to implement self-ensembling, Π-model和temporal ensembling.   Π model的思路来源比较直接，就是我们如何去使用无标签数据来进行
一文看遍半监督学习模型（Semi-Supervised Learning）
热门推荐
qq_43456016的博客
09-02 1万+
一个模型对于同一个未标记图像，在图像添加额外噪声前后的预测值应该保持一致。添加噪声的方法，如图像增强（空间维度增强、像素维度增强）。同样，Dropout可在模型结构中引入噪声。
集成学习 (投票分类器 & bagging/pasting & RandomForest & Boosting)
soullines的博客
01-15 8853
集成学习 本文主要介绍 voting (投票学习器) bagging / pasting 3.随机森林 boosting 1.集成学习概述 1.1 概述 集成学习通过结合多个单一学习器,并聚合其预测结果的学习任务,也可以称作多分类系统等,下面是集成学习的概要图: 单一的学习器可以被称为个体学习器,聚合的过程对应结合模块 根据学习器是否一致可以分为 同质 和 异质 同质集成中的个体学习...
集成学习(Ensemble Learning)——从Bagging到Boosting
"该PDF文件主要讲解了集成学习(Ensemble Learning)的概念、动机和一些典型算法，包括bagging、Boosting以及它们的特定实现——随机森林(Random Forest)和AdaBoost。集成学习通过结合多个模型来提升单一模型的性能，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值