集成学习——Bagging算法和随机森林算法

最新推荐文章于 2025-12-14 11:20:37 发布
原创 最新推荐文章于 2025-12-14 11:20:37 发布 · 806 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #集成学习 #随机森林

集成学习通过组合多个弱学习器实现强学习效果。Bagging算法基于Bootstrap自助采样，构建训练集，用于训练基分类器，如决策树。随机森林是Bagging的特例，增加特征子集的随机性，提升模型独立性和准确性。随机森林适用于高维特征，能处理缺失值，并评估特征重要性。

1、集成学习

集成学习是将多个机器学习的算法结合起来的一种方法，即实现将多个弱学习器通过组成一个整体来实现强学习的效果，俗语里：三个臭皮匠赛过一个诸葛亮。

2、Bagging算法

2.1 Bootstrap自助采样

在样本集D(样本数为m)中进行有放回的抽样，抽取数为m，则每次可能被抽取的概率为1/m，那么样本在m次采用中不被采样的概率为(1−1m)m→lim⁡n→∞(1−1m)m→1e≈0.368(1-\frac{1}{m})^m →\lim\limits_{n \to \infty}(1-\frac{1}{m})^m \to \frac{1}{e} ≈ 0.368(1−m1​)m

最低0.47元/天 解锁文章
【机器学习-21】集成学习---Bagging之随机森林（RF）
qq_38614074的博客
04-28 1万+
在机器学习的广袤领域中，集成学习是一种强大且灵活的策略，它通过将多个单独的学习器（或称为“基学习器”）组合起来，形成一个更加强大的学习器，以提升模型的预测性能。集成学习的核心思想在于“集体智慧”的力量，即多个学习器的联合决策通常会比单一学习器的决策更为准确和稳健。集成学习的重要性在于它能够有效解决单一学习器可能存在的过拟合、欠拟合、稳定性差等问题。通过将多个基学习器的预测结果进行综合，集成学习不仅能够提高预测精度，还能增强模型的鲁棒性和泛化能力。
【随机森林算法】{0} —— Bagging和随机森林算法的简单介绍
Giyn
08-03 421
BaggingBaggingBagging 与随机森林 ​ 由个体与集成的知识可知，欲得到泛化性能强的集成，集成中的个体学习器应尽可能相互独立；虽然“独立”在现实任务中无法做到，但可以设法使基学习器尽可能具有较大的差异。给定一个训练数据集，一种可能的做法是对训练样本进行采样，产生出若干个不同的子集，再从每个数据子集中训练出一个基学习器。这样，由于训练数据不同，我们获得的基学习器可望具有比较大的差异。然而，为获得好的集成，我们同时还希望个体学习器不能太差。如果采样出的每个子集都完全不同，则每个基学习器只用到了
特征选择-包裹式选择
温染的笔记
05-28 8727
包裹式选择与过滤式选择不考虑后续学习器不同，直接把最终使用的学习器的性能作为特征子集的评价准则。换言之，包裹式选择的目的就是为给定学习器选择最有利于其性能、“量身定做”的特征子集。 【与过滤式选择的区别】： 包裹式选择方法直接针对给定学习器进行优化，因此，从最终学习器性能来看，包裹式选择比过滤式选择更好； 但另一方面，由于在特征选择过程中需多次训练学习器，因此包裹式选择的计算开销通常比过滤式选择...
【机器学习】包裹式特征选择之拉斯维加斯包装器（LVW）算法
m0_74195174的博客
03-12 2107
我们将从概念、步骤、优缺点以及代码示例等方面，对LVW算法进行全面解析。
（《机器学习》完整版系列）第11章 特征选择与稀疏学习——11.3 包裹式选择（特征选择的LVW算法：打开包裹）
qiy_icbc的博客
03-17 474
讨论了特征选择的包裹式选择的代表LVW。 从图中可以看出，像打开包裹一样，一层一层的。
集成学习之Bagging与随机森林算法原理小结
qq_43468807的博客
05-20 467
    在集成学习原理小结中，我们讲到了集成学习有两个流派，一个是boosting派系，它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派，它的特点是各个弱学习器之间没有依赖关系，可以并行拟合。本文就对集成学习中Bagging与随机森林算法做一个总结。     随机森林是集成学习中可以和梯度提升树GBDT分庭抗礼的算法，尤其是它可以很方便的并行训练。 一、bagging原理     在集成学习原理小结中，Bagging的原理图如下     从上图可以看出，Bagging的弱学习器之间的确没有
特征选择之包裹式、嵌入式
WJWFighting的博客
09-10 3677
包裹式 主要思想是反复的构建模型（如SVM或者回归模型）然后选择最好的（或者最差的）特征（可以根据系数来选） 把选出来的特征选出来，然后在剩余的特征上重复这个过程，直到所有的特征都遍历过 这个过程特征被消除的次序就是特征的排序，因此这是一种寻找最优特征子集的贪心算法 from sklearn.svm import LinearSVC from sklearn.datasets import ...
集成学习——BAGGING和随机森林
sinat_42247418的博客
01-01 1576
集成学习——BAGGING、RF随机森林、Extra Tree、TRTE、IForest
机器学习——Bagging、随机森林
qq_64296768的博客
03-27 403
其将训练得到的大量决策树进行组合得到随机森林，由于决策树分为分类决策树和回归决策树。相比于Boosting的集成学习框架，时，其大量分类决策树可以采用结果。得到综合后的分类结果；时，其大量回归决策树可以采用。的方式得到综合后的回归结果。其Bagging由于其。在机器学习领域大受应用。
精选资源
机器学习——基于Bagging的集成学习：随机森林（Random Forest）及python实现
01-06
基于Bagging的集成学习：随机森林的原理及其实现引入Bagging装袋随机森林随机森林分类随机森林回归python实现随机森林分类随机森林回归 引入 “三个臭皮匠赛过诸葛亮”——弱分类器组合成强分类器。 Q1.什么是随机...
机器学习笔记25——Bagging算法之随机森林(Rondoom Forest) 算法原理以及python实现
weixin_45666566的博客
08-29 780
随机森林引言1、概述 引言 \quad \quad在集成学习简介中，简单的介绍了根据个体学习器学习方式不同划分的两大类集成学习方法，个体学习器间存在强依赖关系、必须串行生成的序列化方法，如Boosting；个体学习器间不存在强依赖关系、可同时生成的并行化方法，如Bagging。下面详细的说明一下Bagging 算法的进化版随机森林算法。 1、概述 随机森林（Random Forest, RF）可以看成是改进的Bagging算法，它可以更好地解决决策树的过拟合问题。随机森林以CART树作为基分类器，对比决策树
特征选择（过滤式、包裹式）
chocolate_chuqi的博客
07-30 1万+
首先先说说特征选择。 特征选择包含三大类：过滤式、包裹式、嵌入式。   过滤式（filter） 它是先设计一个过滤方法进行特征选择，再去训练学习器。而这个过滤方式是设计一个“相关统计量”，去对特征进行计算，最后设定一个阈值去进行选择。   相关统计量计算： 对于每个样本xi，他都会做以下事情。 找出同类中，最邻近的样本x1；在异类中，找出最邻近的x2。 如果xi与x1更近，说...
【机器学习】特征选择（过滤式、包裹式、嵌入式）
热门推荐
齐在的专栏
01-11 2万+
1. 前言   从给定的特征集合中选择出相关特征子集的过程，称为“特征选择”。特征选择是一个重要的数据预处理过程，进行特征选择的原因如下： 减少特征数量、降维，使模型泛化能力更强，减少过拟合； 去除不相关特征，降低学习难度。   常见的特征选择方法大致可以分为三类：过滤式、包裹式和嵌入式。 2. 过滤式选择   过滤式方法先对数据集进行特征选择，然后再训练学习器。特征选择过程与后续学习...
力扣hot100：搜索二维矩阵
最新发布
一本大学生java学习技术分享与交流
12-14 166
二分查找返回的是目标值最先出现的位置或者是在有序数组中的插入位置，如果是在有序数组中的插入位置则可能为在数组最后一个位置加一个数，这是如果进行matrix[i][weizi]==target的判断的话会导致数组越界，必须先处理越界问题，最终判断条件应为weizi<matrix[i].length&&matrix[i][weizi]==target。本题的本质是一个查找算法，为了提高性能可以使用二分查找，这个二维矩阵可以看出许多个数组，只需要对每个数组都进行一次二分查找就可以实现查找整个二维矩阵。
Louvain 算法
FionaDong的博客
12-12 187
Louvain 是一种经典的图社区发现算法（Community Detection），由 Blondel 等人在 2008 年提出。核心目标：通过最大化 Modularity（模块度）来自动划分图中的社区（cluster）。它最大的特点是：✔ 速度非常快✔ 能处理百万级节点的大图✔ 结果相对稳定。
Conan-embedding整理
kexin197的博客
12-11 918
本文提出了一种改进的文本嵌入模型Conan-embedding，其核心创新在于动态难负样本挖掘和跨GPU平衡损失。该方法在训练过程中实时挖掘难负样本，使模型能动态适应复杂数据分布；采用多阶段训练策略，包括预训练阶段的通识学习和微调阶段的专项训练；通过跨GPU平衡损失解决训练振荡问题，提升模型稳定性。实验表明，该方法能有效提升文本嵌入质量，尤其在检索任务中表现突出。研究还探讨了不同任务（检索与STS）在训练策略上的差异，为后续研究提供了重要参考。
【每天学习一点算法 2025/12/10】反转链表
Colorful9的博客
12-10 885
本文介绍了反转链表的三种实现方法：1）使用栈结构存储节点后弹栈重建；2）迭代法通过遍历直接修改节点指向；3）递归法在回归过程中逐步反转节点。重点解析了递归实现的原理，通过递推找到尾节点后，在回归过程中逐个反转节点指向并断开原链接。三种方法各有特点，栈实现直观但需额外空间，迭代法高效，递归法则展示了递归的独特处理方式。
二次规划（QP）算法
weixin_43156294的博客
12-10 585
二次规划的本质，是在一组线性约束条件下，求解一个二次函数的极值问题。其核心特征在于目标函数的二次性与约束条件的线性性，这种结构既保留了线性规划的求解高效性，又能处理更复杂的优化场景——例如实际系统中普遍存在的“最小能量”“最小方差”等目标，这类目标往往天然呈现二次形式。1.标准数学模型QP问题的标准形式通常分为“凸二次规划”与“非凸二次规划”两类，其中凸QP因具有全局最优解且求解难度可控，应用最为广泛。
微算法科技（NASDAQ MLGO）采用混合深度学习赋能区块链：打造智慧城市安全新范式
MicroTech2025的博客
12-11 405
区块链网络中的各个节点会对算法输出的结果进行验证和记录，每一个安全判断、操作记录等都会以区块的形式被添加到区块链账本上，由于区块链的不可篡改特性，这些记录能够作为可靠的依据，供后续的审计、追溯等使用。系统维护阶段，当发现潜在安全风险时，系统可以根据预设的规则自动触发相应的安全响应机制，比如向相关管理人员发送警报信息、启动防护设备（如对特定区域进行封锁、调整交通信号灯等），同时这些响应操作也会被记录在区块链上，形成完整的安全事件处置链条，方便后续复盘和改进安全策略。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AIGC人工智残

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值