机器学习数学基础课程复习——（4）稳定性

最新推荐文章于 2025-12-05 20:45:00 发布
原创 最新推荐文章于 2025-12-05 20:45:00 发布 · 269 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能 #算法

引言

稳定性刻画了训练集的扰动对算法结果的影响

一般考虑两种扰动

  • 移除样本
  • 替换样本

替换样本均匀稳定性

移除样本均匀稳定性

这里第一个不等式，用的三角不等式

需要先添一项再减去一项即可

结论：移除样本均匀稳定性可以推出替换样本均匀稳定性

替换样本假设稳定性

回顾前面两种稳定性

我们可以发现，其要求对于任意的数据集D和样本z满足上述两个不等式

这个条件太严格了

现在可以通过对数据集D和样本z取期望，在期望条件下考虑训练集的扰动对算法输出函数的影响

就是下面的替换样本假设稳定性

算法稳定性理论(algorithmic stability theory)与泛化误差(generalization error)
echoKangYL的博客
07-19 3184
基于Bousquet 2002年发表于JMLR上的文章Stability and Generalization介绍一些稳定性定义以及它们与泛化误差之间的关系，构建算法稳定性理论基本框架，对algorithmic stability theory进行扫盲式科普。
吴恩达机器学习基础课程笔记
tjujackson的博客
03-06 1519
吴恩达机器学习2022笔记
10.25学习-计算学习理论2
qianyeguiji的博客
10-26 190
在无限假设空间中，需选用其他方法度量假设空间的复杂性：（1）给定假设空间 H 和示例集 D = {x, x, …, x}，H中每个假设h都能对D中的示例赋予标记，标记结果可表示为h∣D​{(hx1​hx2​...hxm​))}随着m的增大，H中所有的假设对D中的示例所能赋予标记的可能结果数也增大，例如对二分类问题，会产生2种可能结果。对于m个样本，假设空间 H 的增长函数为ΠH​mmaxx1​x2​...xm​∈X​∣{(h。
计算机保研/考研面试复习——机器学习篇
zeng699304的博客
02-10 1611
计算机保研/考研面试复习——机器学习篇
《白话——机器学习中的数学》
weixin_53009877的博客
09-15 1030
本文提出了一种更高效的读书方法：从整体框架入手，带着问题阅读并同步整理笔记，而非强迫自己快速读完。文章重点介绍了机器学习的基础概念和应用，包括回归、分类、聚类等算法，以及最小二乘法、梯度下降法等优化技术。特别强调了模型评估中的交叉验证方法和防止过拟合的正则化技术，并对回归与分类问题的实现进行了说明。最后指出，有效的学习需要明确目标并灵活调整方法。
机器学习——回归分析（总结复习版）
qzhqbb的博客
09-02 1153
逐个引入自变量至模型中，并执行F检验，t检验等来对变量进行筛选，当新的变量被引入且模型的结果不能得到优化时，对该变量的操作即是消除，直至模型的结果相对稳定为止。其中，y 是因变量，X 是自变量的设计矩阵，w 是待求解的模型参数，alpha 是正则化系数，||w||^2 表示 w 的平方和。其中，y 是因变量，X 是自变量的设计矩阵，w 是待求解的模型参数，alpha 是正则化系数，||w|| 表示 w 的L1范数。这样去更新逻辑回归前面对应算法的权重参数，提升原本属于1类别的概率，降低原本是0类别的概率。
【一起啃西瓜书】机器学习-期末复习
热门推荐
风口IT猪的成长录
12-09 1万+
【机器学习-期末复习爆肝2w字笔记整理分享】 《机器学习》致力于研究如何通过计算的手段，利用经验来改善系统自身的性能，从而在计算机上从数据（经验）中产生“模型”，用于对新的情况给出判断（利用此模型预测未来的一种方法）。 分为三类：监督学习、元监督学习、强化学习。
机器学习中的数学原理——随机梯度下降法
weixin_63866037的博客
12-23 5333
​ 这个专栏主要是用来分享一下我在机器学习中的学习笔记及一些感悟，也希望对你的学习有帮助哦！感兴趣的小伙伴欢迎私信或者评论区留言！这一篇就更新一下《白话机器学习中的数学——随机梯度下降法》！
机器学习与数据挖掘(上)——期末复习
FiOQA的博客
06-20 2296
过拟合定义当学习器把训练样本学的“太好”了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降，这种现象称为过拟合。过拟合原因过拟合解决办法数据角度 从数据源头获取更多数据数据增强（Data Augmentation）:通过一定规则扩充数据。如物体在图像中的位置、姿态、尺度、整体图片明暗度等都不会影响分类结果。获取额外数据进行交叉验证模型角度降低模型复杂度：对于神经网络：减少网络的层数、神经元个数等均可以限制网络的拟合能力。dropout，在向前传播...
深度学习直通车——第1章：数学与机器学习基础回顾 (Foundation Reloaded)
Rhett_Butler0922的博客
07-07 1258
这不仅仅是“复习”，更是从深度学习的视角，重新理解这些工具的意义与威力。夏令营的笔试和面试中，对基础概念的深刻理解，往往是区分普通和优秀候选人的关键。所以，梯度下降就是这样一个简单而强大的方法：通过不断地朝着梯度（最陡峭）的相反方向（下坡）迈出合适的一小步，来逐步找到我们想要的最小值（例如，模型预测误差的最小值）。：到达新位置后，您再次环顾四周，找到新的最陡下坡方向，再迈出一步。：您的目标是走到这座山的最低点，也就是山谷的谷底。但是，因为雾太大了，您完全看不清远处的路，只能看到自己脚下的一小片区域。
【深度学习基础】从零开始的炼丹生活00——机器学习数学基础以及数值计算数值优化方法
骋望
01-14 1115
学习一下数学基础以及数值计算的方法（主要参考《深度学习》）
机器学习西瓜书期末复习（含经典题）
2302_77045867的博客
01-03 1494
搬过来些Obsidian中记录的有关机器学习的内容，待优化
Coursera机器学习课程全周测验题合集
与常见的编程作业不同，本资源强调的是非编程性质的课后及课中知识点检测，即侧重于对机器学习基础理论、数学推导、算法理解、模型选择与评估等方面的深入考察。这些测验题覆盖了从第二周到第十一周的全部课程内容，...
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习与集成方法：组合多个学习器来提高整体性能
hiliang521的博客
12-02 835
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习
【模式识别与机器学习（15）】机器学习算法-主成分分析
hiliang521的博客
12-02 855
【模式识别与机器学习（15）】主成分分析
机器学习（一）
weixin_52554463的博客
12-01 927
机器学习学习笔记
用Python玩转GAN：让AI学会“造假”的艺术
2303_77568009的博客
12-03 1483
本项目基于PyTorch实现了生成对抗网络（GAN），用于生成手写数字图像。通过搭建生成器和判别器的卷积神经网络结构，采用对抗训练策略，成功在MNIST数据集上训练出能够生成逼真数字图像的模型。实践过程中解决了GPU环境配置、Windows多进程加载数据、网络优化等关键技术问题，最终实现了从随机噪声到清晰数字图像的端到端生成。该实践加深了对深度学习框架使用、模型训练调优及GAN原理的理解，为机器学习算法学习提供了完整案例。
当AI遇见MEMS：机器学习如何优化微振镜的控制与可靠性预测
m0_57847742的博客
12-04 1014
您认为在控制优化与可靠性预测这两个方向中，哪一项的产业化落地会更快，面临的障碍更小？
0013机器学习聚类算法（无监督算法）
最新发布
老欧学视觉的博客
12-05 614
机器学习聚类算法摘要 聚类是一种无监督学习技术，通过将相似数据对象聚集到同一簇中，同时最大化不同簇之间的差异性。K-means是最常用的聚类算法之一，其思想简单但效果显著，广泛应用于市场划分、机器视觉等领域。K-means通过迭代优化聚类中心位置实现数据分组，但存在需要预先确定K值和初始中心敏感的问题。肘方法通过观察不同K值下误差平方和的变化趋势来确定最佳聚类数，而K-means++算法改进了初始中心选择方式。实际应用中，K-means可用于鸢尾花数据集等分类任务，通过轮廓系数等指标评估聚类效果。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值