机器学习笔记-集成学习

最新推荐文章于 2025-12-19 14:42:59 发布
原创 最新推荐文章于 2025-12-19 14:42:59 发布 · 472 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #笔记 #集成学习

本文介绍了随机森林算法，包括其在Mac上的包导入方法，以及bagging和boosting两种集成策略。重点讨论了随机森林作为bagging与决策树的组合，并提到了GBDT（梯度提升决策树）的概念。
林大帅6688
关注
机器学习笔记-XGBoost
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
08-01 6804
XGBoost是2016年由华盛顿大学陈天奇老师带领开发的一个可扩展机器学习系统。严格意义上讲XGBoost并不是一种模型，而是一个可供用户轻松解决分类、回归或排序问题的软件包。它内部实现了梯度提升树(GBDT)模型，并对模型中的算法进行了诸多优化，在取得高精度的同时又保持了极快的速度，在一段时间内成为了国内外数据挖掘、机器学习领域中的大规模杀伤性武器。更重要的是，XGBoost在系统优化和机器学习原理方面都进行了深入的考虑。
机器学习笔记 - 基于python库Scikit-Learn的集成学习
学以致用 知行合一
03-02 1150
你可能已经构建好了一些不错的预测器，这时就可以通过集成方法将它们组合成一个更强的预测器。事实上，在机器学习竞赛中获胜的解决方案通常都涉及多种集成方法（最知名的是Nerflix大奖赛）。 最流行的几种集成方法，包括bagging、boosting、stacking等
机器学习笔记--机器学习基本概念（全面总结，通俗易懂）
qq_44815135的博客
01-22 8286
 什么是机器学习？本文主要介绍了机器学习中的常见概念，包括监督学习和无监督学习、半监督学习、弱监督学习、强化学习、欠拟合和过拟合、损失和优化的概念以及常用的激活函数等。
机器学习笔记02---集成学习---多样性增强
m0_64007201的博客
10-20 1094
机器学习--多样性增强
机器学习笔记 第八章集成学习
qq_53034510的博客
08-05 1317
通常情况下，如果把效果好坏不等的个体学习器掺杂在一起，那么得到结果通常会介于最好和最坏的个体学习器之间，那么，集成学习如何才能获得比最好的个体学习器更好的性能呢？以上例子恰好说明个体学习器应“好而不同”。我们可采样出个含个训练样本的采样集，然后基于每个采样集训练出一个基学习器，再将这些基学习器进行结合，这就是 Bagging 的基本流程。算法思想：从初始的训练集中训练出一个基学习器，再从基学习器的表现对训练集进行合理的调整，即先前基学习器做错的训练样本进行重点关注，然后用调整后的样本来训练下一个基学习器；
机器学习笔记-集成学习之Bagging，Boosting，随机森林三者特性对比
lilu916的博客
09-26 8693
集成学习的概念 集成学习通过构建并结合多个学习器来完成学习任务。只包含同种类型的个体学习器，这样的集成是“同质”的，例如都是神经网络或者决策树；包含不同类型的个体学习器，这样的集成是“异质”的，例如同时包括神经网络和决策树。集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能。 根据个体学习器的生成方式，目前的集成学习方法大致可分为两大类：1）个体学习器间存在强大依
机器学习笔记 - YOLO家族简介
学以致用 知行合一
04-09 5662
目标检测是计算机视觉中最重要的课题之一。大多数计算机视觉问题都涉及检测视觉对象类别，如行人、汽车、公共汽车、人脸等。这一领域不仅限于学术界，而且在视频监控、医疗保健、车载传感和自动驾驶。 许多用例，尤其是自动驾驶，需要高精度和实时推理速度。因此，选择适合速度和准确性要求的物体检测器变得至关重要。YOLO（You Only Look Once）是一种单级目标检测器，用于实现两个目标（即速度和准确性）。而今天，我们将通过涵盖所有 YOLO 变体（例如，YOLOv1、YOLOv2、......
机器学习笔记-Adaboost调参
weixin_54814385的博客
01-24 8521
Adaboost调参
机器学习笔记（1）-集成学习简介
金融风控笔记
05-12 1087
集成学习（Ensemble Learning）是一种通过组合多个弱学习器（弱分类器或弱回归器）来构建更强预测模型的机器学习方法。其核心思想是“群体智慧优于个体”，通过整合多个模型的预测结果，显著提升模型的泛化能力、稳定性和准确性。
精选资源
COURSERA 吴恩达老师机器学习课程笔记-机器学习笔记-[机器学习与推荐算法].pdf
09-03
吴恩达老师的课程不仅讲解了这些基本概念，还涵盖了正则化、逻辑回归、神经网络、支持向量机、决策树、集成学习、聚类等更广泛的机器学习主题。此外，他还强调了实践和实验的重要性，鼓励学生通过实际项目来巩固理论...
机器学习学习笔记-英文版
07-25
【机器学习学习笔记-英文版】是一份详细阐述机器学习概念和算法的资料，由Jim Liang创作。本文档旨在帮助读者理解机器学习的基础、常用算法以及一些扩展话题。以下是笔记的主要内容： **Part 1: 基本概念** 1. **...
机器学习高阶教程＜3＞统计学习理论进阶
2303_77568009的博客
12-16 1472
你是否经历过模型在训练集上表现完美，在测试集上却一塌糊涂？这背后是训练误差与泛化误差的鸿沟。本文带你深入统计学习理论的核心，用生活化类比拆解VC维、Rademacher复杂性等“烧脑”概念，揭示它们如何共同编织泛化误差边界这张“安全网”。通过直观的可视化代码，你将看到直线分类器为何只能“打散”3个点而非4个点，以及不同模型在噪声标签下的不同表现。最后，这些理论将落地为三个实战解决方案，帮你从“凭经验调参”升级为“靠理论导航”的理性设计者。
01.需要了解的五种机器学习类型
AI算法蒋同学的博客
12-18 515
ML 是计算机科学、[数据科学]和[人工智能] (AI) 的子集，它使系统能够从数据中学习和改进，而无需额外的编程干预。ML 模型不依赖用于性能优化的显示指令，而是采用算法和统计模型，以根据数据模式和推论来部署任务。换句话说，ML 利用输入数据来预测输出，并随着新数据的出现不断更新输出。例如，在零售网站上，机器学习算法通过根据购买历史提出建议来影响消费者的购买决策。
Day37 深入理解SHAP图
weixin_47193046的博客
12-15 647
年龄+0.02影响很小，把模型的决策分解到每个特征上。基准值 = 没有任何特征信息时的"默认"预测(相当于"0”的起点)，这个值一般就是平均值，把训练集的所有样本都输入模型，得到所有预测值取平均值，在没有关于这个特定样本的区分性信息时，最合理的猜测就是平均值。到这里你可能心想，这样是不是很类似于线性回归的特征前的系数 y=ax1+bx2+cx3，那既然如此，我直接选择用线性回归的系数作解释，那岂不是更好?三人合伙前，收入是 0，三人合伙后，收入是 100万，要分配的"蛋糕"就是 100万-0=100 万。
机器学习008:监督学习【回归算法】（逻辑回归）--AI世界的“是非判断题大师”
这里是数字化与人工智能的 “实验场” 与 “瞭望台”
12-19 510
逻辑回归，这位AI世界的“是非判断题大师”，其核心价值用简洁、可解释的线性模型，为二分类问题提供一个坚实的概率化解决方案。它就像你学习人工智能旅程中的第一把钥匙。如何将现实问题转化为数学特征，如何用概率来表达不确定性，以及如何通过优化来逼近真理。擅长线性二分类、需要好特征、结果易解释。理解并掌握逻辑回归，你便为后续学习更强大的神经网络（如CNN、RNN）打下了无比坚实的基础。因为无论后面的网络多么复杂，它们最终往往都要回到“逻辑回归”这一步，来做出那个最根本的“是”或“否”的判断。
03.统计学机器学习
AI算法蒋同学的博客
12-18 687
本文探讨了机器学习中的统计思维基础，指出机器学习本质上是建立在统计学和概率论之上的统计过程。文章从三个核心概念展开：1）统计学作为从数据中提取洞察的科学，为机器学习提供数学基础；2）概率论作为量化不确定性的工具，是建模预测不确定性的关键；3）概率分布作为描述数据行为的数学函数，支撑着误差建模、损失函数设计等机器学习核心环节。文章强调，理解这些统计概念对于构建可靠、可解释的AI系统至关重要，它们是现代机器学习（从简单回归到复杂神经网络）的理论支柱。通过介绍描述性统计指标、概率基本概念和常见概率分布，为读者提供
【机器学习】直观理解DPO与PPO：大模型优化的两种核心策略
最新发布
Share With You
12-19 620
PPO和DPO代表了让大模型符合人类偏好的两种不同哲学。PPO通过复杂的多模型协作实现精细控制，适合复杂任务；DPO通过直接学习偏好数据实现高效优化，适合数据充足且目标明确的场景。理解它们的本质区别，有助于我们在实际应用中做出更明智的技术选型，让AI更好地服务于人类需求。
机器学习007:监督学习【回归算法】（线性回归）--股票背后的预测学
这里是数字化与人工智能的 “实验场” 与 “瞭望台”
12-19 418
好了，我们的线性回归之旅就要结束了。现在，请你再回想一下那家奶茶店。从经验中学习规律，用规律预测未来。它是一种寻找数据间简单、直观的线性规律，并用于做出靠谱数值预测的、高度可解释的基础工具。作为初学者，学习线性回归的重点不在于记忆公式，而在于透彻理解其“加权求和”的核心思想和“通过减少误差来学习”的训练逻辑，同时清醒地认识其“只能拟合直线”的根本局限。它就像一把直尺，能量出直线的距离，却画不出优美的曲线。
从GAN到WGAN-GP：生成对抗网络的进化之路与实战详解
像风一样自由的博客
12-18 573
生成对抗网络的演进与WGAN-GP实现 本文系统梳理了GAN技术的演进历程，从原始GAN到WGAN再到WGAN-GP的改进过程。原始GAN存在训练不稳定、模式崩塌等问题，WGAN通过引入Wasserstein距离解决了梯度消失问题，而WGAN-GP进一步用梯度惩罚取代权重剪枝，使模型训练更加稳定。文章详细分析了各代GAN的数学原理和优缺点，并提供了WGAN-GP的核心PyTorch实现代码，包括梯度惩罚计算函数和训练循环示例。这些改进使生成对抗网络在图像生成等任务中表现出更稳定的训练过程和更好的生成效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值