台湾国立大学机器学习基石.听课笔记(第十三讲):harzard of overfitting

本文深入探讨机器学习中常见的过拟合现象,解释其成因,如模型复杂度过高、数据噪音及数据量不足,并通过实例分析了噪音与数据规模对过拟合的影响。同时,介绍了随机噪音与确定性噪音的区别,以及如何通过数据清洗、增加数据量或采用正规化等手段有效避免过拟合。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

台湾国立大学机器学习基石.听课笔记(第十三讲)
:harzard  of overfitting

1,什么是过拟合(overfitting)

简单的说就是这样一种学习现象:Ein很小,Eout却很大。
Ein Eout都很大的情况叫做 underfitting
这是机器学习中两种常见的问题。


上图中,竖直的虚线左侧是"underfitting",左侧是"overfitting”


1.1,产生过拟合的原因

我们用小车发生事故来比喻:

我们可以得到,发生overfitting的主要原因是:(1)使用过于复杂的模型(dvc很大);(2)数据噪音;(3)有限的训练数据。

2,噪音与数据规模

2.1、 噪音的影响

我们可以理解地简单些:有噪音时,更复杂的模型会尽量去覆盖噪音点,即对数据过拟合!这样,即使训练误差Ein很小(接近于零),由于没有描绘真实的数据趋势,Eout反而会更大。
即噪音严重误导了我们的假设。

我们用拟合一个f(x)为R^10的函数做例子进行说明。


结果H^2做得拟合更好。

2.2、 数据量对拟合的影响

如下例子说明:
在上述的例子中,分别用H^2和H^10去拟合,E_in与E_out的差别。我们可知:
如果数据是由我们不知道的某个非常非常复杂的模型产生的,实际上有限的数据很难去代表这个复杂模型曲线。我们采用不恰当的假设去尽量拟合这些数据,效果一样会很差,因为部分数据对于我们不恰当的复杂假设就像是噪音,误导我们进行过拟合。
我们就知道噪声和数据量对拟合H的影响。

3,随机噪音与确定性噪音 (Deterministic Noise)

我们得到的y,一般包括真实值和噪声,我们用H去拟合,Q_f是拟合的维数。

以上图的Q_f和噪声拟合f(x),可以得出下图:

上图是关于2次曲线和10次曲线对数据的拟合情况,我们将overfit measure 表示为E_out(g_10) - E_out(g_2)
那么我们的目标变为看Q_f、噪声和N对拟合的影响。
我们为了更好的得出结果,我们用


4.1 数据清洗(data ckeaning/Pruning)
将错误的label纠正或者删除错误的数据。

4.2 Data Hinting: “伪造更多数据, add "virtual examples"
例如,在数字识别的学习中,将已有的数字通过平移、旋转等,变换出更多的数据。

其他解决过拟合的方法在后面几讲介绍。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值