吴恩达 机器学习笔记七（lecture 7）（正则化Regularization）

最新推荐文章于 2025-12-02 10:43:31 发布
原创 最新推荐文章于 2025-12-02 10:43:31 发布 · 4.7k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习 #吴恩达

本文探讨了过拟合问题及其解决方案——正则化。通过实例解释了正则化如何防止过拟合，介绍了损失函数中正则项的作用，并详细阐述了线性回归和逻辑回归中的正则化实现，包括梯度下降法和正规方程的应用。正则化参数lamda的选择是关键，以平衡模型复杂度和过拟合风险。

正则化 Regularization


1、过拟合 overfitting


eg1:线性回归

图一：欠拟合，高偏差

图三：过拟合，高方差（一般在变量很多的时候发生，这种时候训练出的方程总能很好拟合训练数据，但是对于新的样本数据不能体现出很好的繁华能力）


eg2:；逻辑回归

图一：欠拟合，高偏差

图三：过拟合，高方差


如果我们有很多变量的假

最低0.47元/天 解锁文章
机器学习：正则化
Hao_09的专栏
08-11 2139
************************************** 注：本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结很容易遗忘，根据课程加上自己对不明白问题的补充遂有此系列博客。本系列博客包括线性回归、逻辑回归、神经网络、机器学习的应用和系统设计、支持向量机、聚类、将维、异常检测、推荐系统及大规模机器学习等内容
机器学习中的正则化(Regularization)
Zero_HeiYuFeng的博客
03-31 452
文中部分图片摘自吴恩达deeplearning课程的作业，代码及课件在我的github： ​DeepLearning 课件及作业 关于本篇正则化的具体路径是： ​正则化作业 正则化的概念及原因 简单来说，正则化是一种为了减小测试误差的行为(有时候会增加训练误差)。我们在构造机器学习模型时，最终目的是让模型在面对新数据的时候，可以有很好的表现。当你用比较复杂的模型比如神经网络，去拟合数据时，很容易出...
机器学习中的正则化
10-17 1274
在机器学习的过程中我们会经常看到“正则化”这个词，比如我们看一些书籍、一些视频或者老师们讲课说的：给损失函数加一个正则化项，相当于给它一个惩罚...”等等，就给人一种很迷的感觉。 对此，在网上看到过一些关于什么是正则化的文章，经过整理加上自己的理解就在这里记录下来。 打个比方：假设我们的模型就是一只蚊子，我们要训练它去模拟空中的一些点的整体路径： 我们空中的点也分为训练集和测试集，蚊子去学习训练集的路径，然后闭上眼睛，按照自己学习到的那个路径去预测测试集的点是否在路径上。 首先，蚊子自以为...
【机器学习】4.正则化
最新发布
Charlie482的博客
12-02 874
通过在损失函数中添加权重惩罚项，限制模型参数（如线性模型的系数、神经网络的权重）的绝对值或平方和，降低模型复杂度。正则化损失原始损失λ×惩罚项\text{正则化损失} = \text{原始损失} + \lambda \times \text{惩罚项}正则化损失原始损失λ×惩罚项λ\lambdaλλ0\lambda>0λ0，越大惩罚越强（易欠拟合），越小惩罚越弱（易过拟合），λ0\lambda=0λ0无正则化。方法类别具体方法核心思想适用模型工具库/语法关键词。
机器学习--正则化(Regularization)
一个小白
10-01 823
机器学习--正则化(Regularization) 【基本概念】 正则化是指修改学习算法，使其降低泛化误差. 正则化是一种为了减小测试误差的行为(有时候会增加训练误差)。 我们在构造机器学习模型时，最终目的是让模型在面对新数据的时候，可以有很好的表现。当你用比较复杂的模型比如神经网络，去拟合数据时，很容易出现过拟合现象(训练集表现很好，测试集表现较差)，这会导致模型的泛化能力下降，这...
吴恩达机器学习笔记-正则化(Regularization)
yangliu_w的博客
10-21 622
过拟合问题 如果我们有非常多的特征，我们通过学习得到的假设可能能够非常好地适应训练集（代价函数可能几乎为0），但是可能会不能推广到新的数据。 第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质：预测新数据。我们可以看出，若给...
吴恩达机器学习笔记（三） —— Regularization正则化
alince20008的博客
07-13 176
主要内容： 一.欠拟合和过拟合(over-fitting) 二.解决过拟合的两种方法 三.正则化线性回归 四.正则化logistic回归 五.正则化的原理 一.欠拟合和过拟合(over-fitting) 1.所谓欠拟合，就是曲线没能很好地拟合数据集，一般是由于所选的模型不适合或者说特征不够多所引起的。 2.所谓过拟合，就是曲线非常好地拟合了数据集（甚...
吴恩达机器学习课件和作业
10-28
- `Lecture4.pdf` 可能讨论了过拟合（Overfitting）和欠拟合（Underfitting）的概念，以及如何通过正则化（Regularization）来缓解这些问题。 - `Lecture14.pdf` 可能涵盖决策树（Decision Tree）和随机森林...
Machine Learning - Coursera 吴恩达机器学习教程 Week4 学习笔记
zhang35的博客
02-04 1403
背景 当目标函数非线性时（比如下图明显需要一条曲线），就需要增加高次项来获得曲线，当特征数量比较多时，增加高次项会使特征数量爆炸式增长。 比如图像识别问题，对50 * 50像素的图像，如果将每个像素作为特征，增加二次特征就会产生约3 * 10 ^ 6个特征（C22500 = 2500 * 2499 / 2） 这种情况下，若要使用普通逻辑回归学习所有特征，计算量就过大了。 此时用神经网络学习这种复杂的非线性假设函数，就比较合适了。 神经网络 首先学习几个术语： dendrite: 树突（输入） cell
吴恩达 深度学习 编程作业（2-1）- Initialization & Regularization & Gradient Checking
热门推荐
大树先生的博客
09-29 1万+
Part 1：Initialization、Part 2：Regularization、Part 3：Gradient Checking
coursera-斯坦福-机器学习-吴恩达-第3周笔记-逻辑回归
和而不流
11-28 7490
coursera-斯坦福-机器学习-吴恩达-第3周笔记coursera-斯坦福-机器学习-吴恩达-第3周笔记 分类 和 模型表示 1分类的概念 Classification 2 分类模型表示 3 分类边界 逻辑回归模型 logistic regression 1 代价函数 cost func 2 梯度下降 3 高级优化方法相对于梯度下降 4 复习逻辑回归 多分类任务 过拟合overfitting 1
机器学习 正则化
This is bill的专属博客
07-10 1129
模式识别理论中，常提到的正则化到底是干什么的？渐渐地，听到的多了，看到的多了，再加上平时做东西都会或多或少的接触，有了一些新的理解。1. 正则化的目的：防止过拟合！2. 正则化的本质：约束（限制）要优化的参数。关于第1点，过拟合指的是给定一堆数据，这堆数据带有噪声，利用模型去拟合这堆数据，可能会把噪声数据也给拟合了，这点很致命，一方面会造成模型比较复杂（想想看，本来一次函数能够拟合的数据，现在由于
机器学习-正则化
Threelights的博客
10-28 454
在机器学习中，正规化是防止过拟合的一种重要技巧。从数学上讲，它会增加一个正则项，防止系数拟合得过好以至于过拟合。 L1就是权重的和: L2是权重的平方和: 最小平方损失函数的L1正则化： 最小平方损失函数的L2正则化： 它们的性质的区别总结如下： L2正则化 L1正则化 计算效率高（因为有解析解） 在非稀疏情形下计算效率低 非稀疏输出 稀...
机器学习的正则化
机器学习
01-19 376
https://www.sogou.com/link?url=hedJjaC291OfPyaFZYFLI4KQWvqt63NBiffMb89EH4mYyyh7iY7qhg..https://www.sogou.com/link?url=DOb0bgH2eKh1ibpaMGjuy4Kngte0GPuAaqMQKCgxe6uueKW9M67CaVLpMY1k7wxT3FtmjwvPUqet5pUc3z
机器学习之正则化
Weightlessly的博客
06-11 612
机器学习之正则化
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值