台大机器学习基石 Lecture 13 - Hazard of Overfitting

自动化革命:AI在需求分析、代码生成与测试中的深度应用 在2025年的科技浪潮中,人工智能(AI)已不再是实验室中的概念,而是深度渗透至软件开发的全生命周期。从需求分析的精准捕捉,到代码生成的自动化创作,再到测试环节的智能覆盖,AI正以革命性姿态重塑软件工程的核心环节。本文将结合2025年最新数据与行业实践,解析AI如何在这三大领域实现深度应用。 阅读详情

本次Lecture主要介绍机器学习中很重要的问题:过拟合(overfitting),并且介绍了部分解决过拟合问题的方法。

What is Overfitting?

先通过一个例子来介绍bad generalization。

假设平面上有5个点,目标函数{\color{Blue}f(x)}是2阶多项式:

  • 如果hypothesis是二阶多项式加上一些小的noise的话,那么这5个点很靠近这个hypothesis,E_{in}很小。
  • 如果hypothesis是4阶多项式,那么这5点会完全落在hypothesis上,E_{in} = 0。
  • 4阶多项式的E_{in}必定是小于2阶多项式的E_{in},但是它的E_{out}很大。因为根据VC Bound理论,阶数越大,即VC Dimension越大,就会让模型复杂度更高,E_{out}更大。

我们把这种E_{in}很小,E_{out}很大的情况称之为bad generalization,即泛化能力差。

我们看一下VC曲线:

  • 在d_{VC} = d_{VC}^*的时候, E_{out}取到最小值;
  • 当d_{VC} > d_{VC}^*也就是向右移动时,E_{in} \downarrow ,E_{out} \uparrow,这就是过拟合(overfitting);
  • 当d_{VC} < d_{VC}^*也就是向右移动时,E_{in} \uparrow ,E_{out} \uparrow,这就是欠拟合(underfitting)。

我们可以理解为,overfitting是VC dimension过大的过程,bad generalization是VC dimension过大的结果。

一个合适的fit则有可能E_{in}不是特别小,但是能做到E_{in}和E_{out}都比较小,这样比overfitting时取得更好的效果,也就是我们不一定要追求特别小的E_{in},毕竟我们的目标是E_{out}。至于underfitting的情况,我们只要逐步提高模型复杂度就可以,相对便于解决。

那么造成overfitting的原因是什么呢?我们把overfit比喻为出车祸:

  • 使用过大的d_{VC}(车开太快)
  • 存有noise(路面颠簸)
  • 数据量N不足(对路况的观察不够)

d_{VC}过大的情况我们知道能逐步提高复杂度来解决,后面主要研究noise 和 N的影响。

The Role of Noise and Data Size

我们看这样一个在二维平面上的例子,离散的圆圈是数据集,目标函数是蓝色的曲线——

  • 左图:一个模型的分布由目标函数{\color{Blue}f(x)},是x的10阶多项式。数据没有完全落在曲线上,是因为加入了noise。
  • 右图:目标函数{\color{Blue}f(x)}是x的50阶多项式,没有noise的情况下,数据就全部落在曲线上。

现在我们分别用二阶多项式{\color{Green}g_2 \in H_2}和十阶多项式{\color{Red}g_{10} \in H_{10}}来对两个问题进行拟合,得到下面的结果——

我们能看到在两个问题中,尽管E_{in}({\color{Red}g_{10}}) < E_{in}({\color{Green}g_2}),但E_{out}({\color{Red}g_{10}}) \gg E_{out}({\color{Green}g_2})。在两个问题中,{\color{Red}g_{10}}都发生了过拟合,反而{\color{Green}g_2}却表现得相对不错。

这似乎与我们的感觉不符:对于目标函数是10阶多项式+noise的问题,凭感觉应该是10阶的模型更能接近于目标函数,因为它们阶数相同。但事实上是2阶模型泛化能力更强。这种现象产生的原因,从哲学上来说,就是“以退为进”。有时候,简单的学习模型反而能表现的更好。

下面我们来看看发生这样现象的具体原因——

以上是用Learning Curves来看两个模型在有noise的情况,关于Learning Curves我们已经在第9节课上讲过了,具体可以复习笔记:台大机器学习基石 Lecture 9 - Linear Regression。E_{in}和E_{out}可以表示为:

E_{in}=noise level\ast (1-\frac{d+1}N)

E_{out}=noise level\ast (1+\frac{d+1}N)

本节的实验问题中,数据量N不大,即对应于上图中的灰色区域。

  • 左图的灰色区域中,因为d=2,E_{in}和E_{out}比较接近;
  • 右图中的灰色区域中,d=10,E_{in}很小,而E_{out}很大;
  • 这就解释了之前2阶多项式模型的E_{in}总是更接近E_{out},泛化能力更好。

下面的内容说明了高阶时候的问题,来自redstone的笔记:

但是对于高阶模型,z域中的特征很多的时候,需要的样本数量N很大,且容易发生维度灾难。关于维度灾难的详细生动解释,请参考我另一篇博文:

机器学习中的维度灾难

在第二个noiseless的问题中,我们发现仍然是2阶的模型拟合的效果更好一些,明明没有noise,为什么是这样的结果呢? 

实际上,我们忽略了一个问题:这种情况真的没有noise吗?其实,当模型很复杂的时候,即50阶多项式的目标函数,无论是2阶模型还是10阶模型,都不能学习的很好,这种复杂度本身就会引入一种‘noise’。所以,这种高阶无noise的问题,也可以类似于10阶多项式的目标函数加上noise的情况,只是二者的noise有所不同,下面将会详细解释。

Deterministic Noise

下面用更具体的例子来说明overfit的发生情况——

假设我们的数据有两部分组成:正常数据 + noise。目标函数{\color{Blue}f(x)}是Q_f阶多项式,正常数据都正好满足于目标函数,noise是高斯分布的,level记为\sigma ^2,数据量为N。我们知道E_{in}({\color{Red}g_{10}}) \leq E_{in}({\color{Green}g_2}),然后把overfit量化为E_{out}({\color{Red}g_{10}}) - E_{out}({\color{Green}g_2}),越大则表明overfit得厉害。

在以上背景下,我们研究(N,\sigma^2)和(N,Q_f)对overfit的影响,结果如下图:

红色越深,代表overfit程度越高,蓝色越深,代表overfit程度越低。

我们能看到(N,\sigma^2)关系中,红色区域集中在N很小或者\sigma ^2很大的时候,也就是说N越大,\sigma ^2越小,越不容易发生overfit。在(N,Q_f)关系中,红色区域集中在N很小或者Q_f很大的时候,也就是说N越大,Q_f越小,越不容易发生overfit。

所以,我们发现噪声强度\sigma ^2对overfit有很大影响,这被称为随机噪声stochastic noise;模型复杂度Q_f对overfit也有很大影响,这被称为固定噪声deterministic noise。

从而,有四个发生overfitting的原因:

  • 资料量N太少(data size)
  • 随机噪声太多(stochastic noise)
  • 模型复杂度太高(deterministic noise)
  • 过剩的能力(excessive power),指的是目标函数多项式次数比较低,数据又不够多的时候,这时候就容易使用过高的多项式来拟合,就会产生overfitting(对应的就是上面右图的下部分)。

现在解释deterministic noise的情况,也就是对应着上一节最后的那个问题,为什么目标函数很复杂的时候会被认为是类似存在noise?

我们可以看到上面这幅图中红色的是我们最好的hypothesis,蓝色的是target function,哪怕用最好的hypothesis来拟合仍然会有一些灰色的区域的差距,这些灰色的差距就是deterministic noise。它虽然与stochastic noise原理不同,但是对overfitting来说产生的影响是相同的。

与真正的stochastic noise有什么不同呢?

  • deterministic noise依赖于假设集H,如果有一个更复杂的Hypothesis set,那么deterministic noise会变小;
  • 对给定的x有同样的deterministic noise,而stochastic noise就是不同的。

这其实就可以理解为, 当我们有一个简单的假设集H的时候,就不要用太复杂的target function,就像教小孩的时候不会用太难的知识一样。

Dealing with Overfitting

现在我们知道了什么是overfitting并且是如何产生的,那么接下来我们来研究如何解决overfitting的问题?主要有四点:

  • start from simple model

  • data cleaning/pruning

  • data hinting

  • regularization

  • validataion

类比于之前开车的例子就像是这样——

starting from simple model已经讲了很多了,本节主要介绍简单的data cleaning/pruning和data hinting两种方法,regularization和validation两种方法在之后的课程中重点讲解。

  • data cleaning/pruning就是对训练数据集里label明显错误的样本进行修正(data cleaning),或者对错误的样本看成是noise,进行剔除(data pruning)。这个方法的重点在于,如何找到错误的label,并且进行处理之后的结果可能也不是很明显(比如处理的点对于整个训练集非常小的时候),效果是不确定的。
  • data hinting是针对N不够大的情况,如果获得更多的训练集比较困难,那么data hinting就可以对已知的样本进行简单的处理、变换,从而获得更多的样本。就像是在手写数字辨识中,可以将已知数据轻微平移旋转,这样就能得到更多的数据,这些就是virtual examples,有效地扩充了数据集。这可能有效果,但是必须要注意的是,新的virtual examples要尽量合理,要和原来的数据独立同分布。

 

数据挖掘实战-基于LSTM时间序列模型的香烟销售预测分析 本文介绍了基于LSTM时间序列模型的香烟销售预测分析实验。实验背景为烟草市场竞争激烈,企业需提高销售预测准确性以优化生产、库存和营销策略。LSTM模型因其处理长序列数据的能力被选为预测工具。实验步骤包括数据准备、特征工程、模型构建、训练与评估及结果分析。数据集来自某市门店的销售数据,技术工具为Python 3.9和Jupyter Notebook。实验过程涵盖数据导入、预处理、产品销售与区域销售分析、销售预测(包括销售额、销量、利润及海通店销售额预测)。 阅读详情

相关推荐

从ARCore到AICore:揭秘Google如何通过系统级服务推动Android生态创新

本文深入探讨了Google如何通过AICore等系统级服务推动Android生态创新。从ARCore到AICore,Google通过分层解耦策略将AI能力下沉至系统层,实现端侧大模型推理,如Gemini Nano在Pixel 8 Pro中的应用。文章剖析了AICore的技术架构、开发者赋能路径及场景化实践,展示了其在通信、内容创作和生产力工具中的卓越表现。

rust6ferris的博客 546

台湾大学林轩田机器学习基石课程学习笔记13 -- Hazard of Overfitting

我的优快云博客地址:红色石头的专栏 我的知乎主页:红色石头 我的微博:RedstoneWill的微博 我的GitHub:RedstoneWill的GitHub 我的微信公众号:红色石头的机器学习之路(ID:redstonewill) 欢迎大家关注我!共同学习,共同进步! 上节课我们主要介绍了非线性分类模型,通过非线性变换,将非线性模型映射到另一个空间,转换...

红色石头的专栏 4600

如何查看在电脑里登陆过的微信帐号的聊天记录

打开微信电脑版,点击左下角 "≡" 菜单 → 选择 "设置"进入 "账号与存储"(旧版为" 文件管理 ")选项卡在 "存储位置"一栏查看当前实际保存路径,可点击" 打开文件夹 " 直接访问查看电脑里登录过的微信账号聊天记录,首选官方客户端直接登录查看,操作简单且安全;若账号已退出,可通过备份恢复功能处理;仅需查看媒体文件时,可定位到FileStorage 文件夹直接访问。无论哪种方式,都需遵守隐私保护原则,并注意聊天记录的加密特性限制。

捷利迅分享的博客 4585

台大林轩田《机器学习基石》学习笔记:重要工具三(Validation)

台大林轩田《机器学习基石》学习笔记:重要工具三(Validation)

拖延癌患者自愈小记 953

英伟达NVIDIA数字IC后端笔试真题(ASIC Physical Design Engineer)

英伟达NVIDIA数字IC后端笔试真题(ASIC Physical Design方向)

weixin_37584728的博客 3934

(南京观海微电子)——GH700X调试指南--SPI 接口+LVDS-测试盒使用方法

1表示OTP完成后,读取烧录值是否一致来判断是否烧录成功,2表示同时检测VCOM是否一致以及烧录次数是否增加,3表示不做任何检测,由用于自行在程序中判断。[格式]:SetFindVcomEn (<开启或关闭>),ON表示开启VCOM搜寻,默认是开启的,只要使能OTP烧录,按OTP按键则进行VCOM查询;[功能]:OTP完成检测类别,用于设置OTP完成后检测OTP次数还是OTP值来判断OTP是否成功。[功能]:用于设置VCOM查询使能,比如需要烧全代码而不需要对VCOM查询时,可以禁止VCOM查询。

m0_75095200的博客 1668

generalization & overfitting

overfitting occurs when a model tries to fit the training data so closely that it does not generalize well to new data. the following basic assumptions guide generalization: we draw examples independ...

关注移动端、Web、微信小程序等大前端领域 802

用R搞定生态溯源:MixSIAR贝叶斯混合模型从安装到出图的保姆级教程

本文提供了一份详细的MixSIAR贝叶斯混合模型教程,涵盖从R环境配置、数据预处理到模型参数设置和可视化分析的完整流程。通过实战案例和常见问题解决方案,帮助生态学研究者快速掌握混合模型在生态溯源中的应用,提升数据分析效率。

weixin_42531516的博客 470

机器学习基石第十五讲笔记

Lecture 15: Validation验证15-1 模型选择问题什么是好的模型?答:可以让Eout最小。但这就面临着问题:我们不可能知道Eout的值。那么该怎么选呢?也不可以visual去选。(如果高维呢)选Ein最小的?答:不可以,过拟合情况;或者可能有bad generalization。一种答案:选有最好的测试结果的模型。在已有数据中留下一小部分当做做完模型的测试集。15-2 测试集上...

机器学习知识点整理 454

将雷达连接到树莓派的串口

dev/ttyAMA0 是树莓派的主要 UART(用于 GPIO 引脚 8 (TXD) 和 10 (RXD))。通常,树莓派使用 GPIO 引脚 8 (TXD) 和 10 (RXD) 进行串口通信。树莓派上通常有两个串口:/dev/ttyS0 和 /dev/ttyAMA0。你需要确认雷达的 TX 和 RX 引脚,并与树莓派的对应引脚连接。VCC(电源)连接到树莓派的 3.3V 或 5V(根据雷达的要求)MR(Receive)连接到树莓派的 GPIO 8 (TXD)GND(地)连接到树莓派的 GND。

qq_45943628的博客 1468

Qt Android MySql 数据库驱动编译(详细图解步骤)

第一步.先介绍下环境搭建: Qt 版本 5.12.11 下载链接 https://download.qt.io/archive/qt/5.12/5.12.11/qt-opensource-linux-x64-5.12.11.run Ubuntu 18.04.6 LTS 下载链接 JDK版本 1.8.0_191 下载链接https://www.oracle.com/java/technologies/downloads/ Android Studio版本 ...

h a 6 6 6 c k 为 你解决复杂难题! 3383

学习笔记(三): Generalization/Overfitting/Validation

目录 Generalization: Peril of Overfitting Low loss, but still a bad model? How Do We Know If Our Model Is Good? The ML Fine Print Three basic assumptions Summary Glossa...

anyizhe7949的博客 1243

CDDT CST CDDT CSTTT

This is the second part of the SA8653 automotive CDDT configuration guide. It describes the matching rules and modification methods between CDDT and device‑tree DDTS. It explains CDT’s underlying logic and configuration in TZ, QNX and Android. It details C

qq_39257814的博客 1413

台大机器学习基石 Lecture 9 - Linear Regression

这节课开始介绍一些常见算法,这次Lecture介绍了最常见的Linear Regression线性回归算法。 Linear Regression Problem 在Linear Regression模型下的hypothesis为,特征集为d维,加上常数项后就为d + 1维(所以注意i从0开始)。在线性回归中,误差的衡量常采用平方误差(squared error):,相关的记号已经在上一节课...

ZayneHuang的博客 502

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

台大机器学习基石 Lecture 6 - Theory of Generalization

这节课基于上节课与break point的关联,研究了的上界是否为多项式的问题,得到结论为多项式上界,并将其代入Hoeffding不等式,得到VC Bound,证明只要break point存在,机器学习就是可行的。 Restriction of Break Point 我们先看一下四个成长函数与break point的关系: 成长函数是一个hypothesis在N个数据点上可以产生...

ZayneHuang的博客 369

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

台大机器学习基石 Lecture 11 - Linear Models for Classification

这次Lecture总结比较了已经学习的三种模型优缺点,引入SGD来优化Logistic Regression,讲解了Multiclass Classification中的OVA和OVO方法。 Linear Models for Binary Classification 之前三种线性模型都是对样本特征x的加权运算,我们引入一个线性得分函数(linear scoring function)s...

ZayneHuang的博客 365

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

台大机器学习基石 Lecture 7 - The VC Dimension

本次Lecture主要介绍VC Dimension,从non-break point的角度来看之前break point对VC Bound的影响。最终得出结论要选择合适的来同时保证较小的和较低的模型复杂度。 Recap 通过上节课的证明,我们知道了有多项式上界,这是在的条件下的。我们又得到了VC Bound,这是在M无限的前提下的Hoeffding不等式,那么我们将代入VC Bound...

ZayneHuang的博客 360

台大机器学习基石 Lecture 8 - Noise and Error

本次Lecture主要讲了在存在Noise噪声的情况下,是否能够进行机器学习,VC Dimension是否还有作用,并且介绍了一些评价Model的Error度量方法,这是要根据实际问题来确定的。 Noise and Probablistic Target 数据集D存在噪声的情况下,是否还能学习呢? Noise主要来源于以下三种—— 由于人为因素,正类被误分为负类,或者负类被误分为正...

ZayneHuang的博客 344

台大机器学习基石 Lecture 14 - Regularization

本次Lecture主要讲解了解决overfitting问题的方法——Regularization正则化 Regularized Hypothesis Set 我们在上节课知道,当用一个高次的多项式对target function进行拟合的时候,就会出现小而大的情况,这就是过拟合(overfitting)。而当用较低次的多项式进行拟合的时候,就能够得到左边这样比较良好的效果。 于是,这...

ZayneHuang的博客 317

台大机器学习基石 Lecture 16 - Three Learning Principles

本次Lecture介绍了机器学习中比较常用的三个“锦囊妙计”。 Occam's Razor 奥卡姆剃刀定律(Occam’s Razor),总结而言就是“如无必要,勿增实体”,要用尽可能简单且有好效果的方法来处理数据。 那么就有两个问题: 什么样的模型是“简单的”?简单的模型一方面指hypothesis比较简单,也就是模型的参数比较少;另一方面指模型的hypotheses有限不太多。这两者是...

ZayneHuang的博客 304

台大机器学习基石 Lecture 15 - Validation

本次Lecture介绍了通过validation的方法来帮助我们选择模型并在没有测试集的情况下评价模型好坏,保证训练的模型有良好的泛化能力。 Model Selection Problem 上面这幅图就说明,就算是一个最简单的二元分类问题,都要涉及算法A、迭代次数T、步长、特征转换方法、正则regularizer、正则参数这些选择,他们叠加起来会形成不同的机器学习效果,因此我们要找到合...

ZayneHuang的博客 296

台大机器学习基石 Lecture 10 - Logistic Regression

这次Lecture讲的是另一种回归方法——逻辑回归(Logistic Regression),虽然说的是回归问题,但它其实是一个‘软’分类,本次课介绍了逻辑回归的方法、错误衡量方法、求解最优的方法。 Logistic Regression Problem 之前提过的二元分类器如PLA,其目标函数为,,是一个“硬”的分类器。而Logistic Regression的输出是的概率,因此Logi...

ZayneHuang的博客 287

台大机器学习基石 Lecture 2 - Learning to Answer Y/N (PLA)

Perceptron Hypothesis Set Perceptron : 感知机 对于一个假设h(x),结果与权值w和阈值threshold有关。 sign(x)函数表示:sign(x &amp;gt; 0) = +1, sign(x &amp;lt; 0) = -1。 对二元的h(x),形成如下线性分类: 由此,感知机模型成为了一个线性(二分)分类器(linear/binary class...

ZayneHuang的博客 272

台大机器学习基石 Lecture 4 - Feasibility of Learning

这次Lecture主要讨论的是有限假设下的机器学习可行性。我们为什么能通过算法选出的定作,而又为什么一定与相接近呢? Learning is Impossible? 这一部分主要讨论了这么一个问题:能够在数据集上满足的是否一定能有? 上图就说明了,在以外的数据中更接近目标函数是不确定的,而我们希望机器学习能做到所选模型能在数据集之外也有与真实结果一致的预测结果,而不是仅限于数据集中。...

ZayneHuang的博客 270

台大机器学习基石 Lecture 5 - Training versus Testing

本次Lecture先将之前一部分对“When Can Machines Learn”中的内容梳理了一下,归结为机器学习的两个核心问题:??然后研究在无限hyphothesis set上如何归类,成为一个在有限的M上(也就是)的问题,并且试图求出,并探讨其什么时候是非指数形式,这样机器学习才有效。 Recap and Preview 我们在之前的课程中得出的结论:只要数据集足够大,hypho...

ZayneHuang的博客 262

台大机器学习基石 Lecture 12 - Nonlinear Transformation

本次Lecture主要是讲述如何将非线性问题变成线性问题来求解。 Quadratic Hypotheses 我们之前看到的都是线性的得分函数,这样在二维上是一条直线,三维上是一个平面。 在不具有线性性质的情况下,尽管比较小,能保证,但是在一些数据上会很大,这样的结果就不太理想了。  就像在上图的左图中,我们可以用一个圆来划分,圆形内部是正类,外面是负类。假设它的hypotheses...

ZayneHuang的博客 236
上一篇: 台大机器学习基石 Lecture 12 - Nonlinear Transformation
下一篇: 台大机器学习基石 Lecture 14 - Regularization
ZayneHuang
博客等级 码龄10年 5粉丝 116原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值