机器学习（八）- Overfitting

最新推荐文章于 2024-07-21 15:38:09 发布
最新推荐文章于 2024-07-21 15:38:09 发布
阅读量1.9k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： stanford机器学习学习笔记 文章标签： 过拟合
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/mike112223/article/details/75339383
过拟合是指模型过度拟合训练数据，导致泛化能力下降。通过观察训练集与验证集的性能差异可判断过拟合。解决办法包括减少特征数量和使用正则化技术来限制参数值，保持模型简洁性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Overfitting问题

什么是overfitting

从overfitting这个词的字面上看来就是过度拟合，我们知道的，不管什么东西，过度了一般都是不好的。
overfitting：如果我们选取了太多太多的特征，那么通过学习的模型将会几乎完美的拟合我们的训练集，但是同时这将导致模型不能很好的拟合新的样本。（泛化能力低下）
当然光看概念真的是似懂非懂的，接下来配上两幅图你可能就明白了，分别是线性回归和逻辑回归中出现overfitting时的情况。
这里写图片描述
这里写图片描述
从上面两幅图可以看出，当我们过多的选取了特征之后，模型经过学习之后能够几乎完美的拟合我们的训练数据，但同时我们的曲线变得弯弯曲曲，非常复杂。
我相信有人会问，为什么复杂的模型就不好呢，如何判断过拟合，如何判断所谓的“不能很好的拟合新的样本”和“泛化能力差”。首先我们需要了解我们训练模型的目的，我们训练模型的目的并不在于要去完美fit我们的训练集，而是在于模型拟合新样本的能力，因为最终我们训练出来的模型是要拿去用的

最低0.47元/天 解锁文章

200万优质内容无限畅学
机器学习之数学基础(七)～过拟合(over-fitting)和欠拟合(under-fitting)
天狼啸月1990的博客
06-25 1176
这时模型学嗨了，不肯停止，一直持续学习，学到了很多内容：有翅膀、嘴巴长、脖子形状像2、白色等特征的就是天鹅。结果：这时飞过来的黑天鹅被误判为不是天鹅，因为黑色从来没有出现过，这使得模型把颜色这种局部特征过度学习成了全局特征，从而产生了识别误差。结果：该模型将所有符合这两个特征的动物都预测为天鹅，比如鹦鹉、山鸡等，这就导致了误差的产生。模型学习到的天鹅特征太少了，导致区分标准过于粗糙，从而导致模型不能准确地识别出天鹅。模型对训练集以外的预测能力称为模型的泛化能力，追求这种泛化能力是机器学习的目标。
机器学习----神经网络技术详解
最新发布
qq_42538588的博客
08-01 4446
机器学习（Machine Learning, ML）是一种人工智能（Artificial Intelligence, AI）技术，它使计算机能够通过经验自动改进性能，而不需要明确编程。机器学习的核心在于从数据中提取模式和知识，从而使系统能够做出预测或决策。机器学习的方法可以分为监督学习、无监督学习和强化学习等几种主要类型。监督学习：在监督学习中，模型通过一组带标签的训练数据进行训练。训练过程的目标是使模型能够根据输入数据预测正确的标签。例如，分类问题和回归问题都是监督学习的典型应用。
Machine Learning- overfitting (Andrew Ng 课程总结-过拟合)
u012647865的专栏
08-12 489
根据训练样本建立的预测模型通常有三种情况：欠拟合（underfitting）、有效拟合、过拟合（overfitting）.在建立预测模型时，通常会遇到过拟合的情况。 过拟合（Overfitting） 1. 定义：预测模型可以很好的预测训练集（training set）中的数据, 然而却不能很好的预测新实例（new  data). 2.解决方案：    （a）减少特征项。可以通过人工的方式选
《吴恩达机器学习》--overfitting
weixin_41910953的博客
08-20 176
什么是过拟合（overfitting）？ 在机器学习的中，我们通过线性回归和逻辑回归等方法实现解决了回归和分类问题，但是这些算法会存在一个过拟合的问题。 过拟合：假设函数中的变量过多，能够很好的拟合训练集，但是模型不能很好的应用于实际，即它的稳健性比较差。 欠拟合：假设函数的变量太少，使得训练的效果并不好，当然就不能更好的应用于实际了。 以下三幅图，第一幅就是欠拟合的情况，第三幅就是过拟合的情况，第二幅图是比较合适的拟合状态。 解决办法 课程中给出了两种方法 第一种是减少特征数量，分为人
李宏毅机器学习（深度学习）--overfitting
qq_43468557的博客
08-15 652
李宏毅机器学习
Machine Learning — 关于过度拟合（Overfitting）
weixin_30273931的博客
05-20 187
机器学习是在模型空间中选择最优模型的过程，所谓最优模型，及可以很好地拟合已有数据集，并且正确预测未知数据。 那么如何评价一个模型的优劣的，用代价函数（Cost function）来度量预测错误的程度。代价函数有很多中，在Ng的视频中，Linear Regression用的是平方代价函数： Logistic Regression 用的是对数似然代价函数： 对于给定的含m个样本的数据...
机器学习技法16 - 3 - Overfitting Elimination Techniques (6-44).mp4
03-28
机器学习技法16 - 3 - Overfitting Elimination Techniques (6-44).mp4
【Kaggle_ML学习】5.Underfitting-and-overfitting
weixin_43749941的博客
07-30 392
【Kaggle_ML学习】5.Underfitting-and-overfitting 文章目录【Kaggle_ML学习】5.Underfitting-and-overfitting1. Experimenting With Different ModelsOverfittingUnderfitting2. Example3. Conclusion参考文献 在这篇文章最后，你将会了解到Underfitting和Overfitting两个概念，并且能够运用这些idea来使你的模型更加准确 1. Experim
机器学习--模型评估与选择
SHUA_y的博客
07-21 978
模型评估选择的流程和方法，调参以及验证集的概念
机器学习中：过拟合（overfitting）和欠拟合（underfitting）
Sk8er的专栏
07-15 4415
It’s not enough for a machine learning algorithm to optimize its cost on your data set. If your algorithm works well with points in your data set, but not on new points, then the algorithm overfit the
台湾大学林轩田机器学习基石课程学习笔记13 -- Hazard of Overfitting
红色石头的专栏
05-24 4369
我的优快云博客地址：红色石头的专栏 我的知乎主页：红色石头 我的微博：RedstoneWill的微博 我的GitHub：RedstoneWill的GitHub 我的微信公众号：红色石头的机器学习之路（ID：redstonewill） 欢迎大家关注我！共同学习，共同进步！ 上节课我们主要介绍了非线性分类模型，通过非线性变换，将非线性模型映射到另一个空间，转换...
吴恩达《Machine Learning》-Overfitting过拟合解决（七）
丰brother的博客
06-16 1279
Overfitting数据过拟合 当我们有很多特征，我们的模型拟合训练数据非常好，但是对于新的预测数据，缺乏泛化能力。 Underfit数据欠拟合 对于训练数据的拟合能力过于弱 逻辑回归分类情况 练习题： 选择（C），过拟合能够很好地拟合训练数据。但是对于新的数据预测能力差，没有泛化能力 解决过拟合问题 1.减少特征的数量 2.使用正则化 Regularization正则化为了解决过拟...
[Machine Learning] 欠拟合&过拟合（Underfitting & Overfitting）
Oh_MyBug的博客
02-12 755
Where does the error from？ 在[Machine Learning] 回归（Regression）中，我们发现，越复杂的Model不见得会给Testing Data（测试数据）越好的Performance（效果）。相反，最复杂的Model其实Performance（效果）是最差的，即Error是最大的！ 现在我们就来讨论一下这个Error来自什么地方？了解Error的...
斯坦福机器学习-week 3 学习笔记（3）—— 解决Overfitting
小胜爱捣鼓
01-30 6080
keyword: Overfitting ,Regularization 目录 一.Overfitting的定义 二.解决Overfitting的方法 三.Regularization 四.Regularization时α值的影响   一.Overfitting的定义     根据Andrew Ng的说法，overfitting的定义如下：If
深入探讨机器学习中的过拟合现象及其解决方法
学习记录，厚积薄发
04-16 9528
真正喜欢的人和事都值得我们去坚持。
[机器学习-3]过拟合（Overfit）
Cplus_ruler的博客
07-25 813
[机器学习-3]过拟合（Overfit）
机器学习中产生overfitting的可能性和解决overfitting的方法
UESTC_C2_403的博客
06-06 4804
产生overfitting的可能性 1.数据量不够 2.数据存在噪声 3.模型太复杂 4.选择的模型不符合实际 解决的方法 1.模型从简单的开始做 2.数据清洗，去除噪声等等。（标定的错误数据修正，错误的数据也可丢掉。实际应用中没有很好的方法甄别错误的数据，存在不同的方法。这方法有时候有用） 3.增加数据。（比如图像可以旋转、平移、缩放等，不能元素数据相差太多，或者收集更多
机器学习之过拟合和欠拟合
日常bug
12-04 5220
随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容之过拟合和欠拟合。对同一个算法复杂化。例如回归模型添加更多的高次项，增加决策树的深度，增加神经网络的隐藏层数和隐藏单元数等 弃用原来的算法，使用一个更加复杂的算法或模型。例如用神经网络来替代线性回归，用随机森林来代替决策树等特征挖掘十分重要，尤其是具有强表达能力的特征，往往可以抵过大量的弱表达能力的特征。 特征的数量往往并非重点，质量才是，总之强特最重要。 能否挖掘出强特，还在于对数据本身以及具体
Machine Learning——欠拟合、过拟合、岭回归
weixin_42067873的博客
12-04 666
面临问题：训练数据训练的很好，误差也不大，为什么在测试集上面有问题呢？ 模型复杂的原因：数据的特征和目标值之间的关系不仅仅是线性关系 接下来，我们将探究模型训练中经常出现的两类典型问题： 1、欠拟合 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 原因：学习到数据的特征过少 解决办法：增加数据的特征数量 2、过拟合 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 原因：原始特征过多，存
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值