（集成学习）00 一些基础概念

最新推荐文章于 2025-04-10 20:42:44 发布
最新推荐文章于 2025-04-10 20:42:44 发布
阅读量1.2k 收藏
点赞数
分类专栏： 集成学习 文章标签： 集成学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/akswyh/article/details/124349640
版权

信息熵和Gini指数

信息熵

用于衡量不确定性
在这里插入图片描述

条件熵

在这里插入图片描述

信息增益

表达成熵和条件熵的差，代表在一定条件下，信息不确定性减少的程度
在这里插入图片描述
决策树的构建目标：找到令信息增益最大的路径

eg.
在这里插入图片描述

Gini(基尼)指数

又叫基尼不纯度，表示在样本集合中，一个随机选中的样本被分错的概率。
在这里插入图片描述

回归树

一些概念：

  • 解决回归问题的决策树，预测值一般是叶子节点的均值
  • 回归树的分支标准：标准方差在这里插入图片描述
  • Coefficient of Variation(CV)变化系数，用于决定是否进一步分支

分支停止条件：

  • 当某个分支的变化系数小于某个值
  • 当前节点包含元素个数小于某个值
机器学习基础：模型集成/集成学习
Abner98414的博客
04-30 5543
集成学习原名为，它是根据训练数据构造一组基分类器（base classifier），通过聚合每个基分类器的输出来进行分类。
机器学习之集成学习
LIsaWinLee的博客
06-28 2617
集成学习的相关知识
集成学习（1）— 基本概念
orangerfun的博客
05-11 2037
1. 集成学习概述 集成学习：对于训练集数据，我们通过训练若干个个体学习器，通过一定的结合策略，就可以最终形成一个强学习器，以达到博采众长的目的。 集成学习需要解决的两个问题： 如何得到若干个个体学习器 如何选择一种结合策略，将这些个体学习器集合成一个强学习器 2. 集成学习的个体学习器 集成学习的第一个问题就是如何得到若干个个体学习器。这里我们有两种选择： 第一种就是所有的个体学习器都是一个种类的，或者说是同质的；比如都是决策树个体学习器，或者都是神经网络个体学习器。 第二种是所有的个体学习器不全是一
机器学习实战—集成学习
qq_43456605的博客
11-05 3083
集成学习 随机森林 Adaboost boost 梯度上升 投票分类器
机器学习：集成学习之随机森林
纸上得来终觉浅
08-26 3644
集成学习之随机森林
集成学习 Ensemble Learning
JasonH2021的博客
05-27 1万+
本文主要简单介绍了集成学习的基本概念，优缺点，应用场景，实现方法，以及bagging, boosting, 堆叠法三种集成学习的建模过程,示例和模型参数等。
【机器学习】迅速了解什么是集成学习
2301_76820214的博客
09-02 2108
传统机器学习算法 (例如：决策树，逻辑回归等) 的目标都是寻找一个最优分类器尽可能的将训练数据分开。集成学习 (Ensemble Learning) 算法的基本思想就是将多个分类器组合，从而实现一个预测效果更好的集成分类器。集成算法可以说从一方面验证了中国的一句老话：三个臭皮匠，赛过诸葛亮集成学习通过建立几个模型来解决单一预测问题。它的工作原理是 生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。
深入理解机器学习——集成学习（Ensemble Learning）：基础知识
冯·诺依曼
11-07 1万+
集成学习 （Ensemble Learning）通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统（ Multi-classifier System）、基于委员会的学习（ Committee-based Learning）等。 上图显示出集成学习的一般结构：先产生一组“个体学习器”），再用某种策略将它们结合起来。个体学习器通常由一个现有的学习算法从训练数据产生，例如C4.5决策树算法、BP神经网络算法等，此时集成中只包含同种类型的个体学习器，例如“决策树集成”中全是决策树，“神经网络集成”中
西瓜书读书笔记整理（八） —— 第八章 集成学习
Smileyan's blog
01-04 8930
Boosting 是一类集成学习方法，其基本思想是通过训练一系列弱学习器（通常是简单的模型）来构建一个强大的集成模型。Boosting 算法的核心思想是迭代地训练个体学习器，每个学习器都试图纠正前一个学习器的错误，从而逐步提高整体模型的性能。集成学习是一种通过结合多个学习器来提高整体性能的方法。它通过利用各学习器之间的多样性，增强模型的鲁棒性和泛化能力。常见的集成方法包括Bagging（如随机森林）、Boosting（如AdaBoost、Gradient Boosting）、投票等策略。
集成学习（Ensemble Learning）简单入门
热门推荐
ElysiumAILab
11-02 3万+
集成学习（Ensemble Learning）入门 文章目录集成学习（Ensemble Learning）入门前言一、绪论1.1 基本概念1.2 集成学习方法1.3 多样性增强的几种方法二、Boosting——经典串行集成学习方法2.1 基本概念2.2 Boosting一般过程2.3 AdaBoost算法2.4 GBDT梯度提升树2.5 XGBoost2.6 LightGBM三、Bagging——经典并行集成学习方法3.1 基本概念3.2 Bagging算法3.3 随机森林Random Forest四 前
进化集成学习算法综述.pptx
10-18
然而，进化集成学习算法也面临着一些挑战，如如何选择合适的进化算法和集成学习模型、如何处理高维数据和大规模数据、如何提高算法的可解释性和透明度等。为解决这些挑战，需要进一步的研究和探索，以发掘进化集成...
【机器学习300问】36、什么是集成学习？
qq_39780701的博客
03-13 1852
什么是集成学习？它的出现是为了解决什么问题？集成学习的定义、集成学习中的三种集成策略、集成学习的两大分类。
集成学习在回归分析中的新策略与性能优化
lingqi070的博客
07-06 1873
本文致力于探索集成学习在回归分析领域的最新发展，提出了一种名为“自适应特征与权重集成回归”(AFWR)的创新框架，旨在解决传统集成方法面临的挑战，包括模型冗余、特征选择不精确、权重分配静态性以及可解释性不足等问题。AFWR策略通过动态的特征子集选择机制，自适应地调整参与集成的每个弱学习器所使用的特征，以增强模型的多样性与准确性。同时，结合基于交叉验证的性能评估，动态优化学习器权重分配，确保每个学习器对最终预测的贡献与其实际表现相匹配。
FusionBooster: A Unified Image Fusion Boosting Paradigm
weixin_46202235的博客
04-10 152
图像处理实战指南：从边缘检测到水印嵌入的关键算法解析
04-11
内容概要：本文详细介绍了多种图像处理技术的实际应用和实现方法，涵盖了边缘检测、分形维数计算、霍夫直线检测、伪彩色增强、PCA降维、图像配准以及水印嵌入等多个方面。每种技术不仅提供了具体的Python代码示例，还分享了作者在实践中积累的经验和技巧。例如，边缘检测部分强调了Sobel算子的正确使用方法及其注意事项；分形维数计算部分展示了如何通过盒计数法进行实现；霍夫直线检测部分讨论了参数选择的影响；伪彩色增强部分介绍了基于LUT的颜色映射方法；PCA降维部分讲解了人脸识别的具体步骤；图像配准部分探讨了SIFT算法的应用；水印嵌入部分则深入剖析了DCT域的方法。 适合人群：具有一定编程基础并希望深入了解图像处理技术的开发者和技术爱好者。 使用场景及目标：适用于需要快速掌握图像处理核心技术的研究人员、工程师和学生。目标是帮助读者理解并能够独立实现常见的图像处理任务，如边缘检测、特征提取、图像融合、降维、配准和水印嵌入等。 其他说明：文中提供的代码片段均经过实际验证，可以直接用于实验环境。此外，作者还分享了许多实用的小贴士，如避免常见错误、优化性能等，有助于提高读者的实际操作能力。
生成式AI入门：商业与技术领导者的指南
04-11
本书《What Is Generative AI》由Kyle Stratis撰写，旨在为商业和技术领导者提供生成式人工智能（Generative AI）的基础知识。生成式AI是一种能够创造新内容的技术，包括图像、文本和视频，与传统的判别式AI不同，后者主要用于分类和回归任务。书中介绍了生成式AI的历史、发展以及现代架构，如变分自编码器（VAE）、生成对抗网络（GAN）和Transformer模型，并探讨了其在商业和创意领域的应用。作者强调，尽管生成式AI在推动增长、增强创造力和简化运营方面具有巨大潜力，但实施时也面临着伦理、法律和技术挑战。本书旨在为读者提供必要的知识和见解，以便他们能够评估生成式AI的投资回报率，并在日常生活中、商业活动或创意工作中有效利用这项技术。
伍德里奇计量经济学计算机习题解答与资源
04-11
《伍德里奇计量经济学计算机习题解答与资源》为学习者提供全面的习题解答与实用资源，涵盖R语言实现，帮助巩固计量经济学理论知识并提升实操能力。适合自学或辅助课程学习，助你高效掌握数据分析与建模技巧。
基于深度学习的行人检测系统（YoloV3+Tensorflow）.zip
最新发布
04-11
基于深度学习的系统
Asp.Net CRM客户关系管理系统：企业信息化进程中的高效解决方案
04-11
内容概要：本文详细介绍了Asp.Net CRM客户关系管理系统的功能和实现细节。该系统不仅涵盖了客户信息管理、日程安排等功能，还展示了如何通过C#代码实现这些功能。此外，文章强调了系统的二次开发能力和扩展性，如通过创建新的数据库表和编写相应代码来满足特定行业需求。系统采用三层架构，将客户生命周期、销售流程、团队协同等功能模块有机结合，形成一个完整的业务协同平台。文中还探讨了销售漏斗的状态机实现、实时消息推送、动态加载模块等高级功能，突出了ASP.NET在企业级业务系统开发中的优势。 适合人群：对CRM系统开发感兴趣的软件工程师、项目经理和技术主管。 使用场景及目标：适用于希望提升客户管理和内部协作效率的企业，尤其是那些需要定制化解决方案的企业。通过实施该系统，企业可以更好地管理客户资源，优化销售流程，提高工作效率，最终增强市场竞争力。 其他说明：文章提供了大量实际代码示例，帮助读者深入理解系统的工作原理和实现方法。同时，强调了系统设计中的关键技术决策，如使用状态模式、依赖注入、实时通信等，使读者不仅能学到具体的技术实现，还能掌握系统设计的思想。
Stacking方法详解：集成学习的强大力量
集成学习是一种强大的机器学习策略，它通过结合多个基础模型（也称为弱学习器）来提高整体预测性能。本文主要关注集成学习中的Stacking方法，这是一种迭代过程，通过构建元分类器来整合多个模型的预测结果。 首先，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值