台大机器学习基石 Lecture 4 - Feasibility of Learning

从入门到实战:rkhunter(Rootkit猎手)在Linux服务器安全运维中的部署与自动化监控 本文详细介绍了rkhunter(Rootkit猎手)在Linux服务器安全运维中的部署与自动化监控方法。从Rootkit的危害性入手,讲解了rkhunter的安装、配置及实战应用,包括如何建立基准、优化定时任务方案以及智能告警处理。通过多级过滤脚本和系统级联动,帮助运维人员高效识别和应对Rootkit威胁,提升服务器安全性。 阅读详情

这次Lecture主要讨论的是有限假设下的机器学习可行性。我们为什么能通过算法选出的h\in H定作g,而g又为什么一定与f相接近呢?

Learning is Impossible?

这一部分主要讨论了这么一个问题:能够在数据集D上满足g(x_n) = y_n的g\in H是否一定能有g\approx f?

上图就说明了,在D以外的数据中更接近目标函数是不确定的,而我们希望机器学习能做到所选模型能在数据集之外也有与真实结果一致的预测结果,而不是仅限于数据集中。

这就是机器学习的No Free Lunch(NFL)定理,表明了没有一个机器学习算法能在任何问题上都取得完美的结果,在未知数据集无限大的情况下,也一定存在另一个算法B能够在特定数据集上有更好的表现。

这就告诉我们,在机器学习中要具体问题具体分析,所说的一个学习算法比另一个算法效果更好,只是针对特定的问题,特定的先验信息,数据的分布,训练样本的数目等等。

Probability to the Rescue

接下来的问题是,在以上的背景下机器学习还能取得我们想要的结果吗?

那我们不妨先来看看我们是怎么对其他未知的东西进行推论的?

在一个装有很多球的罐子里,有橙色和绿色两种颜色的球,我们是怎么知道橙色球占多少的呢?统计学上的方法是抽样一部分,获得样本中的橙色球占比\nu,从而推论出整个罐子中的分布情况。

但是是否样本内的比例\nu是否能保证罐中的比例也是\nu呢?答案是否定的,但是从概率来看,有较大概率能确定\nu和\mu是接近的,从数学上就用Hoeffding's Inequality来说明这一点:

\mathbb{P}\left [ \left | \nu - \mu \right | > \varepsilon \right ] \leq 2 exp(-2\varepsilon^2N)

不等式说明,在N很大的时候就能推断\nu和\mu是很相近的,而\nu = \mu时就被称为probably approximately correct(PAC)。

从而,在不知道\mu的情况下,我们就能通过大样本N下用\nu来估计\mu。

Connection to Learning

现在我们知道了在“罐子”问题中如何知道橙色球的分布\mu,那在机器学习问题中又如何解决呢?

每个数据被视作一个球,映射中最关键的点是将抽样中橙球的概率理解为样本数据集D上h(x)错误的概率,以此推算出在所有数据上h(x)错误的概率,那我们通过什么来进行推论呢?就是Hoeffding's Inequality能证明两者是在大样本下PAC的。

从而引入两个值——

  • E_{in} (h)表示在已知样本中h(x)\neq f(x)的概率,也就是在训练集上犯错概率;
  • E_{out}(h)表示在所有数据中h(x)\neq f(x)的概率,也就是在整个输入空间中犯错的概率。

这是两个概率的数学定义。

从而Hoeffding不等式可以改写为——

这就表示E_{in} (h)=E_{out}(h)也是PAC的。那在E_{in} (h)\approx E_{out}(h)下,如果E_{in} (h)比较小,也就能推断E_{out}(h)也比较小,从而在该数据分布下h与f比较接近,机器学习的模型也就比较准确。

但是,h只是H中的一个特定hypothesis,学习算法会在H中选择一个h来作为g,而不是强制固定的某一个h。如果是确定某一个hypothesis的话,只能是“确认”而不是在“学习”。 强制选出的某一个h很有可能在其他数据上E_{in} (h)会比较大,同时E_{out}(h)也会比较大,这就不满足对机器学习的要求。

Connection to Real Learning

现在有M个罐子(M个hypothesis),其中某个罐子抽样全部都是绿色(全部满足h(x)= f(x)),这种情况下我们能不能选这个罐子呢?或者说这个hypothesis是不是我们想要的g?

我们先看一个简单问题:150枚硬币,每个硬币投掷5次,其中至少有一枚硬币5次都是正面的概率有多大?这个事件是非常幸运的吗?结果是1-(\frac{31}{32})^{150} > 99\%,这表示出现这个事件的概率是很大的,同时也说明本来是\frac{1}{32}的概率会因为多次尝试而被放大发生概率。

当次数多时可能会引发BAD sample,也就是E_{in}和E_{out}相差很远,这是选择过多带来的负面作用。

根据许多次抽样得到不同的数据集D,Hoeffding’s inequality保证了大多数的D都是比较好的情形,但是也有可能出现Bad Data,即E_{in}和E_{out}差别很大的数据集D,这是小概率事件。

就像在上图中,所有D_i合起来是整个输入空间,而满足不等式的h能保证其中BAD的D_i是很少的,用数学表达式如下——

如果有M个hypothesis让学习算法进行选择,那么有BAD Data的时候就有

如果算法不能随意选择,按照算法标准选出的h有可能导致E_{in}和E_{out}相差较远,这就是BAD Data。就比如像下面这样的M个hypothesis中,有些D就是不好的数据,而像D_{1126} 这样完全没有BAD的,才是我们想要的,某列只要有BAD就不要。

在这种情况下,如果让算法自由自在选择h的话,选中BAD Data发生的几率有多少?也就是在M个hypothesis下的Hoeffding’s inequality。

以上就是在有限个hypothesis下的Hoeffding。在足够多的N,就能保证自由选择的算法是安全的,也就是E_{in} (g)= E_{out}(g)是PAC的。

从而“合理的”算法就可以找到一个满足最低E_{in}(h_m)的h_m作为g,Hoeffding能保证E_{out}(h_m)也比较小。

于是就有更新的流程,机器学习是可行的——

而以上的都基于hypothesis是有限个,那无限个的情况呢?之后的课程继续讲解~

 

p.s. 这次Lecture感觉有点难懂,我的笔记上可能比较啰嗦,试图把内容说清楚。难免有些内容还理解得不到位,也可能会有错误的情况,欢迎学习这个课程的同学们一起来讨论交流指正错误 : )

用VASPKIT+Quantum Espresso高效绘制能带图:从K点路径生成到可视化全流程 本文详细介绍了如何整合VASPKIT与Quantum Espresso(QE)软件,构建一套高效的能带计算与可视化工作流。通过VASPKIT自动化生成高对称K点路径,结合QE完成自洽与非自洽计算,并利用gnuplot绘制发表级能带图。该流程极大提升了材料电子结构研究的效率与可重复性,是进行DFT能带计算的实用指南。 阅读详情

相关推荐

单细胞多组学数据整合分析实战:从原始数据到跨平台合并

本文详细介绍了单细胞多组学数据整合分析的实战流程,从原始数据处理到跨平台合并分析。通过Seurat和Harmony等工具的应用,帮助研究者有效解决批次效应问题,保留真实的生物学信号。文章包含代码示例和常见问题解决方案,特别适合需要进行单细胞合并分析的研究人员参考。

weixin_30752699的博客 92

力荐 | 台大林轩田《机器学习基石》资源汇总

本文所有资源已放在github上,欢迎star: NTU-HsuanTienLin-MachineLearning 课程介绍 台湾大学林轩田老师的《机器学习基石》课程由浅入深、内容全面,基本涵盖了机器学习领域的很多方面。其作为机器学习的入门和进阶资料非常适合。而且林老师的教学风格也很幽默风趣,总让读者在轻松愉快的氛围中掌握知识。在此,笔者将把这门课的所有视频、笔记、书籍等...

红色石头的专栏 1万+

rk3399 hdmi HDCP key烧录

1.key转换 使用 hdcp\ProvisioningTool_20170526\KeyConverterV2.02 目录下的KeyConvertor.exe工具将1.4key进行转换 转换后得到 TX00000001.skf 文件,将 TX00000001.skf 文件烧录到开发板上,烧录方式: 打开文件 hdcp\ProvisioningTool_20170526\ProvisioningTool20170526\ProvisioningTool.exe 选择烧录方式与烧录路...

qq_32645109的博客 3860

收藏!超全机器学习资料合集!(附下载)

来源: 机器学习算法与自然语言处理本文长度为1098字,建议阅读3分钟本文为你分享机器学习爱好者必备的资源。最近在群里发现一些小伙伴在寻找资料的时候总是无处可找,网上出现很多收集免费资料再去打包收钱的人,我看不惯这样的人,所以把自己收集的文件分享给大家。 百度云经常抽风,如果大家遇到了失效的链接,请在评论区给我评论,我会很快的更新。1:数据挖掘:概念与技术(中文第三版)链接: https://pa

数据派THU 6736

新手必看!Unity中Tag和Layer的7个实际应用场景(含MOBA案例)

本文深入探讨Unity中Tag和Layer的7个实际应用场景,特别以MOBA游戏开发为例,详细解析如何利用LayerMask进行高效场景管理和碰撞检测优化。从双相机方案到射线检测的精准控制,帮助开发者掌握这些基础功能的进阶用法,提升游戏性能和开发效率。

weixin_28723171的博客 313

2024最新实战:用1Panel面板+Docker快速部署Frps服务端(含Nginx配置模板)

本文详细介绍了2024年企业级内网穿透方案,通过1Panel面板和Docker技术快速部署Frps服务端,包含Nginx反向代理配置模板。从服务器选型、系统准备到安全加固,提供全栈实战指南,帮助企业和开发者高效实现内网穿透需求。

weixin_27966471的博客 422

林轩田《机器学习基石》资源汇总(视频+学习笔记+书)

来源 | AI有道(公众号ID:redstonewill)▌课程介绍台湾大学林轩田老师的《机器学习基石》课程由浅入深、内容全面,基本涵盖了机器学习领域的很多方面。其作为机...

优快云 人工智能 2万+

【报错】ImportError: libpython3.10.so.1.0: cannot open shared object file: No such file or directory

ImportError: libpython3.10.so.1.0: cannot open shared object file: No such file or directory

静谧、淡雅 861

《机器学习&&深度学习》 视频课程资源百度云下载

《机器学习&&深度学习》 视频课程资源百度云下载

机器学习之家 2万+

ResNet改进(20):融合Swin Transformer与ResNet

这种混合架构的设计理念是:在保留CNN强大局部特征提取能力的同时,引入Transformer的全局建模优势。我们实现的模型在ResNet18的基础上嵌入了一个简化版的Swin Transformer Block,旨在探索两种范式结合的可能性。通过在ResNet早期阶段引入Transformer模块,我们既保留了CNN强大的局部特征提取能力,又获得了Transformer的全局建模优势。本文提出的ResNet与Swin Transformer混合架构,探索了CNN与Transformer结合的可能性。

2401_82355416的博客 860

uniapp [全端兼容] - 最新详细实现拍摄视频录像并可播放预览视频,调起本机摄像头开启录像录制完毕后保存到本机临时存放,可对拍摄的视频进行压缩处理减少文件大小不损失画质,详解录制视频并读取播放!

uni-app,h5移动端网页,微信小程序,支付宝小程序,Android安卓,苹果ios,app,nvue,录视频,拍视频,拍摄录制视频后上传服务器,调起摄像头录视频并可预览,录视频上传,录像,uniapp录制视频并上传,录制视频并保存到本地设备,如何本地保存并播放预览,提供给用户观看MP4视频录像并上传到后端服务器完整功能源码,视频压缩,mp4文件,删除视频,录像后怎么预览,临时视频文件怎么减少压缩大小,视频压缩及上传,自己录视频并生成可播放的文件,录视频并能打开查看,视频压缩后上传,本机相册,录完怎么预

🏆 前端领域优质创作者 1万+

[DeeplearningAI笔记]卷积神经网络2.2经典网络

4.2深度卷积网络 觉得有用的话,欢迎一起讨论相互学习~Follow Me 2.2经典网络 LeNet-5 LeNet针对的是单通道的灰度图像 原始图像为32∗32∗132∗32∗132*32*1的单通道灰度图像 第一层使用的是6个5∗56个5∗56个5*5的卷积核,步长为1,Padding 为0,图像尺寸缩小到28∗2828∗2828*28 接着使用池化窗口为2∗22∗22...

泛用演化计算、通用人工智能优化模型 706

Dify 本地插件安装失败?别慌,这篇教程手把手教你解决(解决 the plugin you want to install has a bad signature 报错的问题)

🤯dify安装本地插件报错 PluginDaemonBadRequestError: plugin verification has been enabled, and the plugin you want to install has a bad signature。的解决方案!

XiaoqiangClub的博客 3989

机器学习基石 Lecture4: Feasibility of Learning

机器学习基石 Lecture4: Feasibility of LearningLearning is Impossible?Probability to the RescueConnection to LearningConnection to Real Learning Learning is Impossible? 假设有一个实际的面向人的益智问题,给出上面6个例子,判断下方图形对应的y: ...

无所知的博客 424

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

4)机器学习基石笔记 Lecture4:Feasibility of Learning

目录 1)Learning is Impossible 2)Probability to the Rescue 3)Connection to Learning 4)Connection to Real Learning 上节课我们主要介绍了机器学习问题的类型,主要是二元分类和回归问题。本节课,我们将学习机器学习的可行性,讨论我们研究的问题是否可以使用机器学习来解决。 注:本节...

10点43的博客 315

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

Lecture 4:Feasibility of Learning

Lecture 4:Feasibility of Learning 探讨机器学习的可行性:假设集有限,资料数据量足够大 参考:https://beader.me/mlnotebook/section2/is-learning-feasible.html 4.1 Learning is Impossible 虽然我们可以保证我们的在上的判断和真实的一致,但我们无法保证在之外也同样如此。那么这里便值得怀疑一下机器学习的可行性,机器学习到底可不可行? 4.2 Possibility to the Rescue

weixin_43860935的博客 238

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

台湾国立大学(林轩田)《机器学习基石》(第4讲)Feasibility of Learning

课程地址:https://class.coursera.org/ntumlone-001/class 课件讲义:http://download.youkuaiyun.com/download/malele4th/10208897 注明:文中图片来自《机器学习基石》课程和部分博客 建议:建议读者学习林轩田老师原课程,本文对原课程有自己的改动和理解 Lecture 4 : Feasibility

malele4th 414

台大机器学习基石 Lecture 13 - Hazard of Overfitting

本次Lecture主要介绍机器学习中很重要的问题:过拟合(overfitting),并且介绍了部分解决过拟合问题的方法。 What is Overfitting? 先通过一个例子来介绍bad generalization。 假设平面上有5个点,目标函数是2阶多项式: 如果hypothesis是二阶多项式加上一些小的noise的话,那么这5个点很靠近这个hypothesis,很小。 ...

ZayneHuang的博客 1128

台大机器学习基石 Lecture 9 - Linear Regression

这节课开始介绍一些常见算法,这次Lecture介绍了最常见的Linear Regression线性回归算法。 Linear Regression Problem 在Linear Regression模型下的hypothesis为,特征集为d维,加上常数项后就为d + 1维(所以注意i从0开始)。在线性回归中,误差的衡量常采用平方误差(squared error):,相关的记号已经在上一节课...

ZayneHuang的博客 502

台大机器学习基石 Lecture 6 - Theory of Generalization

这节课基于上节课与break point的关联,研究了的上界是否为多项式的问题,得到结论为多项式上界,并将其代入Hoeffding不等式,得到VC Bound,证明只要break point存在,机器学习就是可行的。 Restriction of Break Point 我们先看一下四个成长函数与break point的关系: 成长函数是一个hypothesis在N个数据点上可以产生...

ZayneHuang的博客 369

台大机器学习基石 Lecture 11 - Linear Models for Classification

这次Lecture总结比较了已经学习的三种模型优缺点,引入SGD来优化Logistic Regression,讲解了Multiclass Classification中的OVA和OVO方法。 Linear Models for Binary Classification 之前三种线性模型都是对样本特征x的加权运算,我们引入一个线性得分函数(linear scoring function)s...

ZayneHuang的博客 365

台大机器学习基石 Lecture 7 - The VC Dimension

本次Lecture主要介绍VC Dimension,从non-break point的角度来看之前break point对VC Bound的影响。最终得出结论要选择合适的来同时保证较小的和较低的模型复杂度。 Recap 通过上节课的证明,我们知道了有多项式上界,这是在的条件下的。我们又得到了VC Bound,这是在M无限的前提下的Hoeffding不等式,那么我们将代入VC Bound...

ZayneHuang的博客 360

台大机器学习基石 Lecture 8 - Noise and Error

本次Lecture主要讲了在存在Noise噪声的情况下,是否能够进行机器学习,VC Dimension是否还有作用,并且介绍了一些评价Model的Error度量方法,这是要根据实际问题来确定的。 Noise and Probablistic Target 数据集D存在噪声的情况下,是否还能学习呢? Noise主要来源于以下三种—— 由于人为因素,正类被误分为负类,或者负类被误分为正...

ZayneHuang的博客 344

台大机器学习基石 Lecture 14 - Regularization

本次Lecture主要讲解了解决overfitting问题的方法——Regularization正则化 Regularized Hypothesis Set 我们在上节课知道,当用一个高次的多项式对target function进行拟合的时候,就会出现小而大的情况,这就是过拟合(overfitting)。而当用较低次的多项式进行拟合的时候,就能够得到左边这样比较良好的效果。 于是,这...

ZayneHuang的博客 317

台大机器学习基石 Lecture 16 - Three Learning Principles

本次Lecture介绍了机器学习中比较常用的三个“锦囊妙计”。 Occam's Razor 奥卡姆剃刀定律(Occam’s Razor),总结而言就是“如无必要,勿增实体”,要用尽可能简单且有好效果的方法来处理数据。 那么就有两个问题: 什么样的模型是“简单的”?简单的模型一方面指hypothesis比较简单,也就是模型的参数比较少;另一方面指模型的hypotheses有限不太多。这两者是...

ZayneHuang的博客 304

台大机器学习基石 Lecture 15 - Validation

本次Lecture介绍了通过validation的方法来帮助我们选择模型并在没有测试集的情况下评价模型好坏,保证训练的模型有良好的泛化能力。 Model Selection Problem 上面这幅图就说明,就算是一个最简单的二元分类问题,都要涉及算法A、迭代次数T、步长、特征转换方法、正则regularizer、正则参数这些选择,他们叠加起来会形成不同的机器学习效果,因此我们要找到合...

ZayneHuang的博客 296
上一篇: LeetCode 537. Complex Number Multiplication
下一篇: LeetCode 58. Length of Last Word
ZayneHuang
博客等级 码龄10年 5粉丝 116原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值