台大机器学习基石 Lecture 15 - Validation

用Excel从零实现神经网络反向传播:无需编程的深度学习原理实践 神经网络的核心在于反向传播与梯度下降,这是一种基于链式法则的数学优化机制,其本质是通过误差信号逐层分配、计算权重更新方向与步长。掌握该原理对理解模型可解释性、调试训练异常(如梯度消失、权重爆炸)及构建可信AI系统具有关键工程价值。在数据科学教学、金融建模验证和业务场景快速原型设计中,Excel凭借公式可见、计算可溯、修改即时等特性,成为不可替代的‘梯度模拟器’。本文以2层前馈网络为例,全程使用SUMPRODUCT、OFFSET等原生函数,手把手推导sigmoid激活、Xavier初始化、逐细胞误差反传与手动 阅读详情

本次Lecture介绍了通过validation的方法来帮助我们选择模型并在没有测试集的情况下评价模型好坏,保证训练的模型有良好的泛化能力。

Model Selection Problem

上面这幅图就说明,就算是一个最简单的二元分类问题,都要涉及算法A、迭代次数T、步长\eta、特征转换方法\Phi、正则regularizer\Omega、正则参数\lambda这些选择,他们叠加起来会形成不同的机器学习效果,因此我们要找到合适的选择搭配,构建良好的机器学习模型。

假设我们有M个模型,也就有M个hypothesis set,对应着有M个机器学习算法,于是我们就要选出一个最好的H_{m^*},通过演算法在D上的训练得到g_{m^*} = A_{m^*}(D),目标就是要让E_{out}(g_{m^*})最小。然而E_{out}往往是不知道的,那么这个最优的g_{m^*}该怎么选择呢?

我们试试下面两种方法——

  • 从E_{in}来考虑,在M个模型中找出使E_{in}最小的那个g_{m^*},也就是m^* = \underset{1 \leq m \leq M}{argmin}(E_m = E_{in}(A_m(D)))

但是我们之前就知道, E_{in}小并不就代表E_{out}好,他的泛化能力有可能是很差的,很容易产生overfitting的情况。与此同时,这种“模型选择+训练学习”的模式,当A_1在H_1上获得最小的E_{in},A_2在H_2上获得最小的E_{in},g_{m^*}就要在H_1\cup H_2上取得最小的E_{in},那么这时VC dimension是d_{VC}(H_1\cup H_2),模型复杂度很高,我们知道就很容易有bad generalization。

因此,通过E_{in}来选择是非常危险的。

  • 从E_{test}来考虑,从独立于训练集的测试集选择E_{test}最小的模型,m^* = \underset{1 \leq m \leq M}{argmin}(E_m = E_{test}(A_m(D)))

根据finite-bin Hoffding不等式,我们可以得到

E_{out}(g_{m^*})\leq E_{test}(g_{m^*})+O(\sqrt \frac{log M}{N_{test}})

当M越小,N越大,O(\sqrt \frac{log M}{N_{test}})就越小,E_{test}(g_{m^*})越接近于E_{out}(g_{m^*})。这样看似效果很好,但是我们想要拿到D_{test}是不现实的,这相当于作弊。

我们用学生考试的例子来理解上面in-sample error和test error两种方法:我们有training set训练集(就像是平时做的练习题)和test set测试集(最终的考试)两部分。in-sample error就是通过练习题来进行评判我们学得好不好,也就是把练习题拿来再考试,这样就算效果好也不能用来评判学得好不好;test error就是拿到了最终的测试试卷,然后对着测试卷来学习,那最终考试再好当然不能说明学得好,而且这是作弊啊!

于是我们可以试着找出一个折中的方法,从training set中抽出一些作为D_{val},把他们留出来作test error的功能,而不要将他们混入原有的数据中参与训练学习,这样就能保持独立的数据集。其实,这就像是在平时练习的时候留出一些题目合起来做成一套“模拟卷”,在考前来检验我们的学习成果,这样就是仿真的考试。

Validation

上图就说明,将原有的输入数据分成了D_{train}和D_{val}两部分,其中为了保证E_{val}和E_{out}的关联性,要求D_{val}是从D中随机抽取,这也就是保证D_{val}\overset{i.i.d.}{\sim }P(x, y)(独立同分布)的。

于是,通过D_{train}可以得到最佳的g_m^-,然后验证得到E_{val}(g_m^-),得到如下Hoffding不等式:

E_{out}(g_m^-)\leq E_{val}(g_m^-)+O(\sqrt \frac{log M}{K})

所以,对于M个模型来说,只要每个求出最佳的,然后横向比较得到最好的模型,即m^* = \underset{1 \leq m \leq M}{argmin}(E_m = E_{val}(A_m(D_{train})))

但是,现在由于数量为N的总样本中有部分K成为了validation set,那么只有N - K个可供训练,得到最好的矩为g_m^-;而总样本对应最好的矩为g_m^*。根据之前的learning curve可以知道,当训练样本越多的时候,得到的模型就越准确,于是就有

这样就导致了训练出的E_{out}偏大,于是通常就通过D_{val}来选择最好的矩g_m^-对应的模型m^*,然后再在全部D上进行训练,最终得到g_{m^*}。

 于是综合起来就有不等式:E_{out}(g_{m^*})\leq E_{out}(g_{m^*}^-)\leq E_{val}(g_{m^*}^-)+O(\sqrt \frac{log M}{K})。

下面通过一个示例来看一下:

通过上图的样例,我们可以看到,如果把全部数据作为训练集而没有验证集,那么就是上面的黑色实线,这显然与K无关;当测试集与训练集非常接近时,就能得到下面的黑色虚线,这是一种理想情况,实际中很难得到;红色曲线表示验证集的E_{out},最终选取了g_{m^*}^-,随着K的增加,先减小后增大,最终甚至超过黑色实线(这是因为随着K增大,训练集的数量在不断减小,这样得到的结果就不具有良好的泛化能力);蓝色曲线也使用验证集,最终选取的矩是g_{m^*},随着K的增加,先缓慢减小再缓慢增大,且一直在红色和黑色实线以下,这就说明之前的方法是正确的。

那么K究竟应该取多少呢?通常就取K=\frac{N}{5}。

Leave-One-Out Cross Validation

这个validation的方法就是每次取出训练集中第n个样本(x_n,y_n),于是D_{val}^{(n)}={(x_n,y_n)},E_{val}^{(n)}(g_n^-)=err(g_n^-(x_n),y_n)=e_n,然后每次取出一个样本,再将所有E_{val}^{(n)}取平均,于是就有E_{loocv}(H,A)=\frac{1}{N}\sum_{n=1}^{N}e_n=\frac{1}{N}\sum_{n=1}^{N}err(g_n^-(x_n),y_n),我们希望E_{loocv}(H,A)\approx E_{out}(g),那么m^*=\underset{1\leq m\leq M}{argmin}(E_m=E_{loocv}(H_m,A_m)),选择出最小的那个E_m就可以了。

下面从理论上保证LOOCV是正确的,

于是LOOCV得到的就是一个几乎无偏差的估计。 

V-Fold Cross Validation

但是Leave-One-Out方法的问题计算量大,每次1个validation,N-1个训练集,训练N次模型;在很多模型下可能model selection会因为没有公式解而不可行或不容易;在只有一个点的情况下,结果的跳动可能会比较频繁,导致效果不理想。

于是,可以将样本集D分为V份,1份validation,其余用作训练,根据这个标准来选择模型,通常V=10比较常见:

m^*=\underset{1\leq m\leq M}{argmin}(E_m=E_{CV}(H_m,A_m)),其中E_{cv}(H,A)=\frac1V\sum_{v=1}^VE_{val}^{(V)}(g_V^-)

一般采用V-Fold Cross Validation的方法来选择最佳的模型,但由于其数据来源也是样本集中的,不能保证在这个情况下模型效果一定很好,仍然要以test结果来作为标准。

顶尖高校强化学习课揭示的RL认知框架与工程落地本质 强化学习(RL)不仅是算法实现,更是融合最优控制、决策理论与认知科学的系统性智能范式。其核心原理植根于马尔可夫决策过程(MDP)、策略梯度与探索-利用权衡等基础概念,技术价值在于 bridging simulation-to-reality gap,支撑机器人控制、自动驾驶与自适应AI等高可靠性场景。真实落地中,reward shaping、GAE优势估计、target network同步等关键设计均非调参技巧,而是对物理约束、信息时效性与价值对齐的工程响应。本文基于伯克利CS285、斯坦福CS234与UC 阅读详情

相关推荐

【机器学习基础】理解为什么机器可以学习1——PAC学习模型

我们要弱化对学习器的要求: 1、我们不要求学习器输出零错误率的假设,只要求错误率被限制在某常数ε范围内,ε可为任意小。 2、不要求学习器对所有任意抽取的数据都能成功预测,只要求其失败的概率被限定在某个常数μ的范围内,μ可取任意小。 简而言之,我们只要求学习器可能学习到一个近似正确的假设,故得到了“可能近似正确学习”或PAC学习

Jason Ding的专栏 8821

机器学习用于日内股票预测

作者:chen_h 微信号 & QQ:862251340 微信公众号:coderpai 对于股票价格的预测对于大多数交易员来说都是非常重要的。人们多年来一直在使用各种预测技术。我们将探索这些技术以及最近流行的算法,比如神经网络。在这篇文章中,我们将专注于对源自市场数据的特征应用到线性模型。 问题定义 首先我们来定义一下我们的问题,我们想要解决的问题是去预测证券的价格变化(或者回报)。 在...

CoderPai的博客 7013

台大林轩田《机器学习基石》学习笔记:可行性(Hoeffding、Multi-binhoeffding、VC bound)

台大林轩田《机器学习基石》学习笔记:可行性(Hoeffding、Multi-binhoeffding、VC bound)

拖延癌患者自愈小记 4484

林轩田《机器学习基石》(十五)—— Validation

上一次讲到为了避免overfitting,一个方法是regularization。在之前的上加上一个regularizer,生成,将其最小化,这样可以有效减少模型的复杂度。今天我们要讲的是Validation,验证的方法,帮助我们作出正确的模型选择。 一、模型选择问题 模型的算法有:PLA, pocket,线性回归, logistic回归等。 在算法中我们还可以决定一些东西: 最大迭代步数T:100; 1000; 10000等 学习率:1; 0:01; 0:0001等 特征变换:线性,二次,..

weixin_43463276的博客 783

直流并联电压源的下垂控制与模拟光伏板特性的方法与仿真

并联直流电源下垂控制方法,下垂特性可以让并联直流电源输出功率/电流自动均衡,直流电源输出特性模拟光伏板的输出特性,具有自动限制输出最大功率的功能

1197

【计算机科学导论实验】加法图灵机模拟 题解

本文提供计算机科学导论课程“图灵机加法器”实验的个人思路,仅供参考。

Chavapa's blog 2579

机器学习基石-机器学习所做不到的

天下没有白吃的午餐 如果给机器data,机器学,那在资料以外没有任何办法保证结果 除非有一些假设。如果坚持f是不知道,那data之外,一定没有把握 取样样本够大的时候,真实值和取样的结果相差很小 比如丢铜板,比如打电话做民意调查。   给定u(sample),十个样本中v小于0.1的概率是多少?那N=10,参数等于0.3,代入就可以求解。   假设有一个固定的h在手上,每一个...

jr1261181988的博客 385

抖音自定义卡片链接(图文链接)

抖音自定义可以自定义标题,打开链接,和展示图片 效果 主要代码 public void sendMessage(String conversationId, Object aBaseContent) throws Exception { // C233282u5.LIZIZ.LIZ().LIZIZ(LIZ).LIZ(obtain).LIZ(hLn).LIZ((AbstractC59811HHc) new H9Q()); Object HOa = ReflectionUtil

傅恒的博客 4141

台湾大学林轩田机器学习基石课程学习笔记15 -- Validation

我的优快云博客地址:红色石头的专栏 我的知乎主页:红色石头 我的微博:RedstoneWill的微博 我的GitHub:RedstoneWill的GitHub 我的微信公众号:红色石头的机器学习之路(ID:redstonewill) 欢迎大家关注我!共同学习,共同进步! 上节课我们主要讲了为了避免overfitting,可以使用regularization...

红色石头的专栏 6369

KEIL 5.38如何手动安装ARM Compiler V5?完整配置流程分享

本文详细介绍了在KEIL 5.38环境下手动安装和配置ARM Compiler V5(AC5)的完整流程,解决历史遗留项目的兼容性问题。从获取安装包、环境变量设置到KEIL集成配置,逐步指导开发者完成AC5的部署,并提供了常见错误排查和性能优化建议,帮助开发者高效维护基于C编译器的老项目。

weixin_29168813的博客 629

JMeter压力测试全攻略:从入门到精通

本文系统讲解JMeter压力测试的完整流程与结果评估方法。开篇介绍压力测试的核心概念及JMeter工具特性,随后从环境搭建入手,详细说明JDK配置、JMeter安装及中文界面设置。主体部分围绕测试流程展开,涵盖测试计划创建、线程组参数调优、HTTP请求配置、断言与监听器添加等实操步骤;结果评估环节深入解析聚合报告指标、结果树分析及性能瓶颈定位方法,并通过电商接口测试案例演示全流程应用。文末总结关键要点,为读者提供从基础操作到分布式压测、性能调优的进阶学习方向,助力掌握JMeter在系统性能评估中的核心应用。

邓邓子的博客 2416

机器学习基石-Validation

大纲Model Selection Problem1 Model Selection Problem在机器学习建立模型的过程中有很多选择,对于简单的二分类问题我们的目标是选择最好的搭配,建立好模型,得到一个好的gg,使Eout(g)E_{out}(g)最小假设有M个模型,对应有H1,H2,⋯,HMH_1,H_2,⋯,H_M,即有M个hypothesis set,演算法为A1,A2,⋯,AMA_1,A

格物致知 637

网神 SecGate 3600 防火墙 app_av_import_save文件上传漏洞(含批量验证poc)

网神 SecGate 3600 防火墙 app_av_import_save文件上传漏洞(含批量验证poc)

weixin_43567873的博客 299

机器学习基石 Lecture15: Validation

机器学习基石 Lecture15: ValidationModel Selection ProblemValidationLeave-One-Out Cross ValidationV-Fold Cross Validation Model Selection Problem 目前为止在训练模型的时候我们可以选择的部分已经有很多了,算法、迭代次数、更新步长、映射方式、正则项和正则项系数等等。有这么...

无所知的博客 539

零基础入门生信转录组数据分析——导读

转录组数据分析(上游,下游,数据可视化)专栏的目录,可以直接通过点击各个分析点直接跳转到相关帖子,方便查找和观看

呆猪儿的博客 1万+

PCL点云库入门(第1讲)——PCL库简介和安装(Win10/11+VS2019+PCL 1.12.0)

PCL,全称为,即点云库,是一个专注于2D/3D图像和点云处理的大型开源项目。该项目最初由斯坦福大学的杰出计算机视觉专家Radu博士及其团队开发和维护,经过十余年的发展,目前(2024年12月)已更新至1.14.1版本。PCL点云库集成了众多尖端的点云处理算法,这些算法不仅包括基础的滤波、特征估计、表面重建、配准、模型拟合和分割等,还涵盖了更高级的功能,如点云数据的语义理解、场景解析以及动态环境下的实时处理。这些算法能够对含有噪声的点云数据进行有效过滤,去除异常值;

qq_36812406的博客 1万+

Lecture 15 :Validation

Lecture 15 :Validation 【参考】https://redstonewill.com/255/ 【概括】 本节课主要介绍了Validation验证。先从如何选择一个好的模型开始切入,例如使用Ein、Etest都是不太好的,最终使用Eval来进行模型选择。 然后详细介绍了Validation的过程。 最后,介绍了Leave-One-Out和V-Fold Cross两种验证方法,比较它们各自的优点和缺点,实际情况下,V-Fold Cross更加常用。 15.1 Model Selectio

weixin_43860935的博客 215

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

机器学习基石笔记-Lecture 15 Validation

本节讲如何做模型选择。 对一个问题我们有M个模型,它们分别对应M个假设空间以及相应的算法。如何选择出一个最好的模型呢? 通过之前讲到的overfitting,我们知道Ein最好的不一定Eout好,但是我们其实是希望选出来的模型在Eout上表现尽可能好。 如果我们有额外的test数据,在test上的Etest则可以近似的看做Eout。 这些额外的数据从哪里来呢?一个方...

weixin_30496751的博客 122

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Andrew Ng 's machine learning lecture note (15)

Anomaly detectionThis algorithm can help us to realize that whether some data sets are abnormal. We should follow the steps:(1)Choose the features that you think may relate to anomalous examples(2)(3)

FrostMonarch的博客 382

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

机器学习与模式识别 考点压缩 100%命中率

机器学习与模式识别 期末考点压缩 两天学完 力挽狂澜!

2301_80226956的博客 885

High-Resolution Image Synthesis with Latent Diffusion Models 基于潜在扩散模型的高分辨率图像合成

Robin Rombach 1 * Andreas Blattmann1 * Dominik Lorenz 1 Patrick Esser ® Björn Ommer 1 1 Ludwig Maximilian University of Munich & IWR, Heidelberg University, Germany ° Runway ML慕尼黑路德维希-马克西米利安大学 & 德国海德堡大学 IWR ° Runway MLhttps://github.com/CompVis/latent-diff

u013250861的博客 140

Learning theory 机器学习原理

Introduction 年前刚刚完成了一门台大的机器学习基石课程,最后得到了complete with distinction的证书,话说真是有点小惊喜啊,为什么惊喜呢?因为第二次作业做得实在是烂,刚破及格线,这第二章讲的什么呢?为什么机器能够学习,机器学习的理论基础,经过三思,决定好好回顾一下机器学习的理论基础。 评价一个机器学习算法的generalization性能的方法就是看它在测试数

Frog in a well 5221

台湾大学林轩田《机器学习基石》学习笔记第15讲—— Validation

上节课我们引入了augmented error,并学习如何通过加入regularizer来限制model complexity,并求得augmented error的最小值。从开始到现在我们已经学习到很多模型,但究竟哪些模型能得到更好的泛化能力呢?这节课我们将来探讨一下这个问题。 一、Model Selection Problem 对于一个简单的binary classification问题,模...

Stoneeeee的博客 499

机器学习基石(15)--Validation

本节课主要讲述怎样在模型和参数之间做选择。 把已知的数据中分出一部分来当做validation的数据,用来验证我们hypothesis的表现。 validation和真实Eout的差距: 我们用validation得到最好的模型之后,再把所有的数据合起来再去做训练,因为N变大了,所以得到的结果的Eout应该是最好的: validation的大小也是很重要的: 课程给出...

weixin_30319097的博客 188

台大机器学习基石 Lecture 13 - Hazard of Overfitting

本次Lecture主要介绍机器学习中很重要的问题:过拟合(overfitting),并且介绍了部分解决过拟合问题的方法。 What is Overfitting? 先通过一个例子来介绍bad generalization。 假设平面上有5个点,目标函数是2阶多项式: 如果hypothesis是二阶多项式加上一些小的noise的话,那么这5个点很靠近这个hypothesis,很小。 ...

ZayneHuang的博客 1128

台大机器学习基石 Lecture 9 - Linear Regression

这节课开始介绍一些常见算法,这次Lecture介绍了最常见的Linear Regression线性回归算法。 Linear Regression Problem 在Linear Regression模型下的hypothesis为,特征集为d维,加上常数项后就为d + 1维(所以注意i从0开始)。在线性回归中,误差的衡量常采用平方误差(squared error):,相关的记号已经在上一节课...

ZayneHuang的博客 502
上一篇: 台大机器学习基石 Lecture 14 - Regularization
下一篇: 台大机器学习基石 Lecture 16 - Three Learning Principles
ZayneHuang
博客等级 码龄10年 5粉丝 116原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值