李宏毅机器学习——误差和梯度下降

最新推荐文章于 2025-11-30 17:53:43 发布
原创 最新推荐文章于 2025-11-30 17:53:43 发布 · 175 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #机器学习

本文探讨了模型复杂度与误差之间的关系，指出在模型选择中，过大的偏差可能导致欠拟合，而高方差则可能引发过拟合。通过交叉验证来平衡偏差和方差，以提高模型的泛化能力。同时，介绍了N-折交叉验证作为评估和选择模型的有效方法。

1.误差的来源

Average Error随着模型复杂增加cheng指数上升，更复杂的模型，并不能给测试集带来更好的效果，而误差来自于bias（偏差）和variance（方差）。

2.估测变量x的偏差和方差

评估变量x的偏差

在这里插入图片描述
注：图片中的larger N 和 smaller N位置相反才对。

估测x的方差

在这里插入图片描述

3.偏差vs方差

在这里插入图片描述
偏差大——欠拟合
方差大——过拟合

4.模型选择

（1）传统方法
（2）交叉验证
在这里插入图片描述
（3）N-折交叉验证
在这里插入图片描述

Task 2 李宏毅机器学习——回归
weixin_47502945的博客
07-14 338
回归 回归的应用： 股票市场预测——预测明天的道琼斯工业指数 自动驾驶汽车——input：censor看到的 output：方向盘的角度（scalar） 推荐系统——找一个function input：使用者A 商品B output：使用者A购买商品B的可能性 预测宝可梦的CP值（战斗力） 找一个function ： 输入是某一只宝可梦相关的信息 输出就是宝可梦的进化后CP值 输入信息包括：种类、生命值、进化前cp值、重量、高度 Step 1：model 公式：y...
李宏毅机器学习——回归定义和应用例子
wuyameng的博客
12-10 666
回归定义 Regression 就是找到一个函数 function，通过输入特征 x，输出一个数值Scalar。 应用举例 股市预测（Stock market forecast） 输入：过去10年股票的变动、新闻咨询、公司并购咨询等 输出：预测股市明天的平均值 自动驾驶（Self-driving Car） 输入：无人车上的各个sensor的数据，例如路况、测出的车距等 输出：方向盘的角度 商品推荐（Recommendation） 输入：商品A的特性，商品B的特性 输出：购买商品B的可能性 Pokemon精
李宏毅机器学习——梯度下降Gradient Descent
weixin_45366750的博客
08-20 270
一、自适应学习率 在梯度下降的过程中，一般情况下，希望开始开始的时候学习率（学习的速度）快一些，后面慢慢接近局部最低的时候，学习率逐渐减小，移动的幅度更小且精确。 （一）普通的梯度下降 学习率的调整受到t和g的影响（g是微分），步长受到初始学习率、当前微分、当前时刻点的影响 （二）Adagrad 学习率的调整受到微分占比的影响（相当于把t和g整合成了占比这一个统计量），步长受到初始学习率、当前微分占比的影响。 二、Adagrad的使用场景 适用于单参数模型，这是其最大的缺点。原因有二： 不同参数需要不
李宏毅机器学习(三)-梯度下降
weixin_41968248的博客
07-16 399
作业马上补充完整，麻烦助教稍等一会批改哈！
李宏毅机器学习笔记：梯度下降
qq_43711697的博客
08-01 679
前言 本文是基于台湾李宏毅机器学习的笔记，本文主要记录关于梯度下降的知识点 一、梯度下降 梯度下降法简介 梯度下降的优化目标是使得损失函数L最小，其中θ为参数，假设 θ 有里面有两个参数 θ1, θ2 随机选取初始值 ，η为学习率 梯度下降遇到的问题 梯度下降过程中可能会遇到马鞍点，局部最小点，下降速率过慢等等情况，如下图所示，这些情况导致的后果就是梯度约等于或等于0，即梯度消失，在深度学习中，对于梯度消失问题尤其看重，梯度消失意味着网络失去了活性相当于网络死亡。 二、梯度下降优化
李宏毅机器学习-梯度下降
柯同学要谦虚
03-15 377
文章目录学习率 learning rates学习率的调整自适应学习率Adagrad 算法随机梯度下降特征缩放泰勒展开式多变量展开式梯度下降限制 学习率 learning rates 学习率的调整 learning rate 太小了 下降得太慢 learning rate 太大了 下降的很快 很可能永远达不到最低点 自适应学习率 随着次数的增加，通过一些因子来减少学习率通常刚开始，初始点会距离最...
机器学习 —— 李宏毅机器学习笔记（四）—— 梯度下降
ProQianXiao的博客
03-16 2160
梯度下降 在第二篇博客中已经简单介绍过梯度下降算法，梯度下降算法是机器学习领域最广为人知、用途最广的优化算法，用来确定模型的参数（包括随机梯度下降SGD，Momentum，Adam等）。首先回顾一下梯度下降的计算过程： 梯度下降中常用技巧（Tips） 一、调整学习率 如上图左边部分所示，假设我们的loss曲线是图中黑色曲线，从曲线左边端点作为起始点，使用不同的学习率进行参数的更新...
李宏毅机器学习笔记——误差与梯度下降
weixin_41655795的博客
07-16 404
机器学习之误差与梯度下降
datawhale李宏毅机器学习——task03“误差和梯度下降”
nebula1008的博客
01-15 1797
误差： 模型越复杂，平均误差反而越大。这种error的主要来源是偏差bias和方差variance。 由真实数据训练得到的模型与理想模型之间存在的差距就算是偏差和方差导致的。 不同模型的偏差和方差不同。 偏差大说明欠拟合。 方差大说明过拟合。 因此需要在偏差和方差之间权衡一个模型，使得总误差最小。可以通过交叉验证或者n折交叉验证得到的准确率来选择。 梯度下降法： 这是一种更新参数值的方法。就是每次更新的幅度，由当前数值下的偏导数乘以学习率来决定。 自适应学习率：随着训练次数的增加，学习率也会动态地发生变化。
Task 3 李宏毅机器学习——梯度下降
weixin_47502945的博客
07-16 303
1、误差从哪里来 Bias Variance 从实际的训练数据中寻找出f* F hat则是最佳的function，能实际准确得到y的function f*是对f hat的一个估计，两者还是有差距 模型简单的时候bias大，variance小，function space可能都没有包含目标function 而模型复杂的时候variance大，bias小，function space也较大，更可能包含目标function 随着模型的bias造成的error逐渐下降 variance造成的
李宏毅机器学习——Logistic回归
Joker的博客
05-31 768
文章目录Logistic回归分类概念概率和分类的关系后验概率Step1 逻辑回归的函数集Step2 定义损失函数Step3 寻找最好的函数损失函数：逻辑回归为什么不使用线性回归的平方误差？判别模型 vs 生成模型生成模型的优势多类别分类Softmax定义 target逻辑回归的局限特征转换级联逻辑回归模型 Logistic回归 分类概念 分类要找一个 functionfunction 函数，输入对象 xx 特征， 输出是该对象属于 nn 个类别中是属于哪一个。 概率和分类的关系 下面的 Class1 和
李宏毅机器学习作业3——Image Classification，模型集成，交叉验证，TTA
iwill323的博客
11-17 2767
李宏毅机器学习作业3——Image Classification， 模型集成， TTA，num_works的影响，交叉验证
【第三周】李宏毅机器学习笔记03
qq_30043925的博客
07-14 924
这周学习了机器学习的任务攻略。在机器学习中我们通过损失函数的值来判断模型性能的好坏。当训练中的loss值达不到我们理想的结果时我们需要分析loss值过高的原因，有可能是model bias也有可能是optimization。当我们在训练集中的loss取得很好的结果之后就要去观察测试集上的loss。测试集上loss过大则可能产生过拟合，如何解决过拟合也是本周需要学习的内容。此外还学到了一种模型评估办法——K折交叉验证法。本文还介绍了局部最小点和鞍点，对判断局部最小点和鞍点的方法进行了手写推导。
李宏毅机器学习系列-梯度下降法
王伟王胖胖的博客
08-12 880
李宏毅机器学习系列-梯度下降法梯度下降法回顾调节学习率 梯度下降法回顾 我们再定义损失函数之后，我们希望损失函数越小越好，于是想要寻找到一组参数θ∗\theta^*θ∗,使得他让损失函数取得的最小值，即： θ∗=argmin⁡θL(θ)\displaystyle \theta^*= arg \min_{\theta} L(\theta) θ∗=argθmin​L(θ) 我们假设θ\thetaθ只有...
【民族服饰识别系统】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积网络+resnet50算法
最新发布
子午的博客
11-30 489
民族服饰识别，民族服饰智能识别与分析系统基于TensorFlow框架，采用卷积神经网络（CNN）算法构建而成。系统在收集了回族、汉族、满族、苗族四类典型民族服饰图像数据集的基础上，通过多轮迭代训练，最终生成高精度识别模型，并配合Web可视化平台实现便捷交互。前端后端：Django算法：TensorFlow、卷积神经网络算法具体功能系统分为管理员和用户两个角色，登录后根据角色显示其可访问的页面模块。登录系统后可发布、查看、编辑文章，创建文章功能中集成了markdown编辑器，可对文章进行编辑。
深度学习实战（基于pytroch）系列（四十）长短期记忆（LSTM）从零开始实现
echo的博客
11-28 1442
LSTM（长短期记忆网络）是一种改进的循环神经网络，通过引入输入门、遗忘门和输出门三个控制单元，以及记忆细胞结构，有效解决了传统RNN的梯度消失问题。其核心计算包括：三个门控单元通过sigmoid函数调节信息流动，候选记忆细胞使用tanh函数生成，最终记忆细胞由遗忘门和输入门共同决定。实验使用周杰伦歌词数据集进行训练，从零实现了LSTM模型的参数初始化和前向传播过程，包括状态初始化、门控计算和隐藏状态更新。该结构能更好地捕捉长距离依赖关系，适用于序列建模任务。
深度学习实战（基于pytroch）系列（四十一）长短期记忆（LSTM）pytorch简洁实现
echo的博客
11-29 1022
本文介绍了使用PyTorch简洁实现长短期记忆网络(LSTM)语言模型的方法。首先读取周杰伦歌词数据集并进行预处理，然后定义包含LSTM层和全连接层的RNN模型类，其中LSTM需要同时处理隐藏状态和细胞状态。文章详细展示了模型初始化、预测函数实现以及训练过程，包括梯度裁剪和数据迭代器设计。通过对比手动实现，突出了PyTorch框架在简化LSTM实现方面的优势，为自然语言处理任务提供了高效的解决方案。
深度学习实战（基于pytroch）系列（四十四） 优化与深度学习
echo的博客
11-30 995
本文探讨了优化与深度学习的关系及优化在深度学习中的挑战。优化算法通过最小化训练误差来降低损失函数值，而深度学习更关注降低泛化误差。文中重点分析了深度学习中常见的两个优化挑战：局部最小值和鞍点。通过数学函数示例和可视化图表，展示了这些特征点的特性，并指出在高维参数空间中，鞍点比局部最小值更为常见。最后强调虽然全局最优解难以获得，但现有优化算法已能有效训练深度学习模型。
Bayes-CNN-LSTM、Bayes-CNN-BiLSTM、Bayes-CNN-GRU、B...
2503_94130034的博客
11-24 433
无需手动调参，运行即出结果，特别适合刚接触时序预测的新手。Bayes-CNN-LSTM、Bayes-CNN-BiLSTM、Bayes-CNN-GRU、Bayes-CNN-BiGRU回归(四选一)(可以更换为分类/单、多变量时序预测，前)，Matlab代码，可直接运行，适合小白新手。Bayes也可以优化CNN-LSTM-Attention,CNN-BiLSTM-Attention，CNN-GRU-Attention,CNN-BiGRU-Attention模型回归，分类，时序预测()[电力负荷预测结果对比图]
李宏毅机器学习2020作业Python实现
标题“HW_1_李宏毅机器学习作业_thatnn8_李宏毅_”明确指出这是一份与台湾大学李宏毅教授所开设的2020年机器学习...对于任何希望系统学习李宏毅机器学习课程的学生而言，此类作业实现具有极高的参考价值和学习意义。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cifeng79

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值