机器学习21：Ensemble

集成学习精要
最新推荐文章于 2024-12-01 20:44:11 发布
原创 最新推荐文章于 2024-12-01 20:44:11 发布 · 1.2k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #决策树 #算法

本文深入探讨集成学习的Bagging和Boosting方法，解释为何需要集成多个弱监督模型以形成更强的监督模型。通过随机森林和AdaBoost实例，展示如何解决过拟合和提升分类器性能。

这部分主要介绍Ensemble的方法

为什么我们需要Ensemble的方法

在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型，但实际情况往往不这么理想，有时我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。

常见的Ensemble方法

Ensemble一般有下面的bagging、boosting，stacking的方法

Bagging

在这里插入图片描述
这张图横坐标代表模型的阶次，也可以看做模型的复杂度。红线是模型预测与真实值之间的bias，绿线是模型预测与真实值之间的variance，蓝线是观测误差。我们可以看到随着模型逐渐复杂，训练的结果从underfitting到overfitting。我们使用bagging主要是解决数据充足下的overfiting的问题。

Bagging的原理

使用多组数据，通过训练来得到若干个预测的训练模型，我们可以通过对复杂模型取平均来降低variance。
在这里插入图片描述
Bagging即套袋法，使用一种有放回的抽样方法，目的为了得到统计量的分布以及置信区间，其算法过程如下：

A）从原始样本集中抽取

最低0.47元/天 解锁文章
Python机器学习实战：机器学习在金融风险评估中的应用
AI天才研究院
05-06 1086
Python机器学习实战：机器学习在金融风险评估中的应用 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 金融风险评估的重要性 1.1.1 金融风险
Python机器学习实战：使用机器学习进行时间序列分析
AI天才研究院
04-21 1202
Python机器学习实战：使用机器学习进行时间序列分析 1.背景介绍 1.1 时间序列分析概述 时间序列分析是一种研究随时间变化的数据的统计技术。它广泛应用于金融、经济、气象、工业生产等诸多领域,旨在从历史数据中发现模
机器学习: ensemble learning
joey周琦
12-16 470
机器学习: ensemble learning ensemble learning即把多个模型综合成一个模型。这样往往能达到不错的效果。原因为: 不同的模型可能采用了不同的数据、或对数据的刻画方式角度不一样；直觉上讲，如果一个问题从多个角度去看，那么效果往往会比从单角度看效果更好。 各种ensemble的方法，据说在kaggle比赛中也有明显的效果 ensemble的方式大致分几类: baggin...
机器学习—集成学习（ensemble learning）
weixin_50197893的博客
01-16 1937
一、集成学习 集成学习是将多个弱机器学习器结合，构建一个有较强性能的机器学习器的方法，也就是通过构建并合并多个学习器来完成学习任务，其中构成集成学习的弱学习器称为基学习器、基估计器。 1、根据集成学习的各基估计器类型是否相同，可以分为：同质和异质。 同质：指个体学习器全是同一类型。 异质：指个体学习器包含不同类型的学习算法。 2、根据个体学习器的生成方式，将集成学习方法可以分为两类：boosting和bagging boosting：它的特点是各个弱学习器之间有依赖关系。 bagging：它的
人工智能/机器学习基础知识——集成学习（Ensemble）
WindGrin_的博客
04-13 985
人工智能/机器学习基础知识——集成学习（Ensemble）
【机器学习】14. 集成学习 ensemble: bagging, boosting, 随机森林 random forest
weixin_48846514的博客
10-29 1399
ensemble, bagging, boosting, random forest
机器学习之Ensemble（Bagging、AdaBoost、GBDT、Stacking）
热门推荐
KI的博客
07-08 10万+
本文借助了李宏毅机器学习笔记，主要是想用通俗易懂的语言来解释相关概念，并且使自己掌握得更加牢靠！！集成学习主要分为串行的Boosting和并行的Bagging，以及Stacking，下面将依次介绍。
【机器学习】入门机器学习：从理论到代码实践
最新发布
2301_80350265学无止尽5的博客
12-01 1798
机器学习（Machine Learning）是人工智能的一个分支，它通过算法从数据中学习规律，并基于这些规律进行预测或决策。今天，我们将通过一个简单的示例，深入了解机器学习的基本原理及其代码实现。鸢尾花数据集包含150个样本，每个样本有4个特征：花萼长度、花萼宽度、花瓣长度、花瓣宽度，以及目标类别（Setosa、Versicolor、Virginica）。例如，通过提供一组标记为“猫”或“狗”的图片数据，机器可以学会区分新图片中的猫或狗。使用训练数据拟合模型，通过验证集调参，避免过拟合。
机器学习：集成学习（ensemble learning）（一）——原理概述
a16111597162163的博客
09-19 1072
集成学习（ensemble learning） 集成学习通过构建多个个体学习器，然后再用某种策略将他们结合起来，产生一个有较好效果的强学习器来完成任务。基本原理如下图所示。这里主要有三个关键点：个体学习器的同质异质、个体学习器的生成方式、结合策略。 同质异质。首先需要明确的是个体学习器至少不差于弱学习器。弱学习器常指泛化性能略优于随机猜测的学习器，例如二分类问题中精度略高于50%的分...
机器学习-- ensemble
01-30
Ensemble Framework of Ensemble Ensemble: Bagging Review: Bias v.s. Variance Decision Tree Experiment: Function of Miku
【机器学习】集成学习 - Ensemble Learning
weixin_44211968的博客
07-11 805
本文介绍了集成学习的概念及原理
机器学习-集成学习(Ensemble Learning)
苟冬新
06-16 294
集成学习是训练一系列学习器，并使用某种结合策略把各个学习结果进行整合，从而获得比单个学习器更好的学习效果的一种方法。如果把单个学习器比作一个决策者的话，集成学习的方法就相当于多个决策者共同进行一项决策。集成模型不是单独的ML模型，而是通过先构建后结合多个ML模型来完成学习任务。 集成学习的两个问题 先构建：如何得到若干个个体学习器、弱学习器、基础学习器、基学习器 • 同质的 • 异质的 • 主流...
机器学习之集成学习（Ensemble Learning）
进击的扛把子
04-10 3192
文章目录0️⃣概念1️⃣分类2️⃣特点⚔好而不同⚔五大特点⚔思考3️⃣五大方法🐱‍🐉训练样本扰动：🥘Boosting（例如：AdaBoost， GBDT）🥘Bagging（例如：Random Forest）🥘Bagging，Boosting二者之间的区别🥘Stacking🥘 决策树与这些算法框架进行结合所得到的新的算法：🐱‍🐉输入属性扰动：🥘RF算法解释🐱‍🐉算法参数扰动🐱‍🐉输出标记扰动🐱‍🐉混合扰动4️⃣集成学习结合策略5️⃣引用 0️⃣概念 集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的
Ensemble算法
AAAAAAAKing的博客
03-26 3369
What's up everybody, welcome back to my channel! hi，how are ya ! 上周跟大家分享了随机森林算法的应用，这周我准备把Ensemble算法原理跟大家分享一下（有些地方会解释的不太清楚，见谅 ），主要参考的是台大李宏毅教授的机器学习课程。李宏毅教授讲机器学习和深度学习课程个人认为还是非常不错的，如果各位感兴趣的话可以直接去搜索一下。 ...
机器学习之集成学习Ensemble learning
weixin_74009895的博客
10-10 1261
机器学习之集成学习Ensemble learning
机器学习——集成学习（Ensemble learn）
Dcwjh的博客
04-27 323
文章目录What is ensemble learn?Bagging有放回取样（bootstrap）Bagging流程图随机森林 What is ensemble learn? Bagging 有放回取样（bootstrap） 随机森林 Bagging流程图 随机森林
机器学习之集成学习（一）Ensemble Learning
ivy_reny的专栏
01-23 875
一、集成学习概述         集成学习通过构建并结合多个学习器来完成学习任务。通过将多个学习器结合，常可以获得比单一学习器显著优越的泛化性能，达到博采众长的目的。           集成学习有两个主要的问题需要解决： 1、如何训练每个学习器？ 2、如何融合各个学习器？ 二、个体学习器         要获得好的学习器，个体学习器应“好而不同”，即个体学习器要有一定的准确性，并且
机器学习（5）——集成学习（Ensemble Learning）
StevenJane
12-01 1157
本文主要是对监督学习进行相应的总结，概述出相应的内容。
Weka学习三（ensemble算法）
aalbertini的专栏
07-20 1481
<br />前两次我们讲了数据挖掘中比较常见的两类方法。这次我来介绍一下ensemble（集成技术），总的来说，ensemble技术是归类在分类中的。它的主要原理是通过集成多个分类器的效果来达到提高分类效果的目的。简单我们可以通过两张图片来看看集成的效果：<br /><br /><br />图一为多个基分类器单独工作时的分类效果图。图二为集成分类器的分类效果。我们可以看到集成分类器的分类曲线明显会平滑的多。来个比喻，在一件事情的表决上面，一个人的意见与多个人的意见相比，往往是多个人的意见来的准确一些。这是大
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值