深度学习(十三)——loss及其梯度

最新推荐文章于 2025-01-06 13:58:30 发布
最新推荐文章于 2025-01-06 13:58:30 发布
阅读量2.2k 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43633568/article/details/104572266
版权
本文介绍了深度学习中常用的损失函数MSE（均方差），并讨论了在动态图环境下如何求解梯度。同时，文章详细讲解了softmax函数的由来和作用，解释了其为何被视为max操作的软版本，特别是在概率归一化中的优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

MSE：均方差
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
需要求偏导的参数，要特别写出来
在这里插入图片描述
因为是动态图，所以要再次求mse
在这里插入图片描述
两种求梯度的写法
在这里插入图片描述
softmax
由来
输出的值想要最大的，认为转化为概率0-1
如果用sigmoid，概率相加可能不等于1
softmax：把值大的变的更大，值小的压缩

最低0.47元/天 解锁文章
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
盼小辉丶的博客
06-13 7万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
利用Visdom动态画深度学习训练的loss图
Infinity的博客
01-25 2100
安装并启动python可视化工具visdom 进入所属python环境，安装visdom包 pip install visdom 安装完后启动服务 python -m visdom.server 如下图所示，表示服务启动成功 根据提示在浏览器中输入相应地址即可，默认地址为http://localhost:8097，浏览器启动成功如下所示： 利用visdom画loss图 import visdom #添加visdom库 viz = visdom.Visdom(env='los.
大白话深度学习基础1-梯度&loss&交叉熵&激活函数
weixin_64519687的博客
05-26 1240
① 梯度就是所有参数的偏导向量② 黑色线段为该时刻的梯度在平面的投射③ 视频中运用了三个例子说明，分别在三个不同方向运动1的距离，观察函数变化首先是-1,0方向其次是1，0方向最后是梯度方向，即2,2方向三、梯度求解万能方程因为每进行完一次模型loss求解，如果还没下降到最小，就还要进行梯度下降，即参数更替，而模型中都是矩阵乘法，怎么求这些矩阵的导数并且进行参数更替呢呢？五星级重要☆☆☆☆☆即对任意的矩阵A @ 矩阵B + 矩阵b =矩阵Cdetal_w。
Loss及其梯度
02-02 1885
Loss及其梯度
损失函数 Loss、梯度 grad、参数 ω 和 学习率 lr 之间的关系
热门推荐
拾贝壳
06-17 1万+
举一个最简单的函数 y=x2y = x^2y=x2，梯度为 g(x)=∂y∂x=2xg(x) = \frac{\partial{y}}{\partial{x}} = 2xg(x)=∂x∂y​=2x。设学习率为 lrlrlr，那么 更新一次梯度后为：x1=x0−lr∗g(x0)=x0−lr∗2x0=(1−2∗lr)x0x_1 = x_0 - lr * g(x_0) = x_0 - lr * 2x_0 = (1 - 2 * lr)x_0x1​=x0​−lr∗g(x0​)=x0​−lr∗2x0​=(1−2∗lr
梯度的概念+激活函数及其梯度+loss（均方差）及其梯度+交叉熵+多分类实例+全连接网络实例+感知机及其梯度+链式反则+反向传播+l逻辑回归
weixin_51589123的博客
06-04 2193
文章目录一、梯度1、什么是梯度？梯度——把所有的偏微分看做向量容易出现的问题优化梯度下降法来找到全局最优解的因素2、常见函数的梯度二、激活函数及其梯度sigmoid函数Tanh函数，在RNN里用得比较多Relu是使用最多的激活函数softmax三、loss及其梯度（1）均方差（2）Cross Entropy Loss多分类问题：利用minst数据实现多分类全连接网络的实现四、感知机的梯度推导感知机单输出感知机多输出五、链式法则六、反向传播七、2D函数优化实例八、逻辑回归线性回归和逻辑归回/分类问题的区别：1
梯度与损失函数关系
qq_26181163的博客
04-30 1432
梯度与损失函数关系 ''' 在神经网络中，寻找最优参数（权重和偏置）时，要寻找使损失函数的值尽可能小的参数。为了找到使损失函数的值尽可能小的地方，需要计算参数的导数（确切讲是梯度） 然后以这个导数为指引，逐步更新参数的值。当导数值为0时无论怎么样改变权重参数项那个方向变化，损失函数的值都不会发生改变，此时权重更新会停止在此处。所以激活 函数不能是阶跃函数，因为阶跃函数的大部分导数为0，神经网络的学习将无法进行。激活函数最好是连续变化的曲线， ''' #利用中心差分求导数（中心差分可以减小误差） def nu
深度学习学习笔记——C2W2-1——小批量梯度下降
最新发布
预见未来to50的专栏
01-06 759
然后你会有 A1 等于 G1(Z1)，写大写的Z因为这是一个向量化实现，直到你得到 AL，我猜是 GL(ZL)，然后这是你的预测。接下来你实现反向传播来计算关于JT的梯度，你仍然只使用XT和YT，然后你更新权重W，实际上是WL，更新为WL减去 alpha 乘以D WL，对B也是类似。这就像你有一个大小为1000个样本的小训练集，而你只是对这个M等于1000的小训练集实现你已经熟悉的算法，而不是对500万样本的整个训练集显示地进行循环，而是使用向量化来同时处理所有这1000个样本。解释这个算法的名字，
深度学习学习笔记——C1W2-6——逻辑回归梯度下降
预见未来to50的专栏
12-26 675
我必须承认，对于推导逻辑回归的梯度下降来说，使用计算图有点大材小用，但我想从这种方式开始解释，让你熟悉这些概念，这样当我们谈论完整的神经网络时，希望这能更有意义。然后，我们计算 Y_hat 或 A = Σ(Z)，这是计算图中的下一步，最后，我们计算 L，A * Y，我不会再次复制公式。但事实证明，DL DZ 可以被表达为 DL_DA 乘以 DA_DZ，而事实是 DA_DZ 等于 A*(1-A)，DL_DA 我们之前在这里已经计算过了，如果你拿这两个量，DL_DA 和 DA_DZ，只需要将它们相乘。
深度学习——梯度消失、梯度爆炸
GWENGJING的博客
09-11 998
梯度消失和梯度爆炸的根源：深度神经网络结构、反向传播算法
激活函数与Loss的梯度
陈子青的博客
03-06 739
因为：z0时，梯度是1。因为在向后传播时候，因为梯度是1，所以对于搜索最优解，梯度计算时候非常方便，也不会被放大和缩小，很难出现梯度弥散和梯度爆炸的情况。b）sigmoid的缺点：因为sigmoid函数在处于+∞和-∞时候，导数趋近于0，会使得数据处于更新非常缓慢（长时间loss保持不变的情况），即：梯度弥散问题。函数的自变量的方向，函数的自变量越多，偏微分就越多。有的快，有的准确率高。2）所有概率之和等于1。不断更新自变量，当偏导（梯度）趋近于0的时候，函数值也就趋近于极小值。
深度学习梯度压缩
12-27
梯度压缩，1bit量化。
10.梯度、激活函数和loss
weixin_44846755的博客
07-14 1656
龙良曲PyTorch学习框架：梯度、激活函数和loss
【深度学习】loss与梯度与交叉熵的关系
littlemichelle
12-11 4014
问的GPT3.5。
损失函数梯度下降的关系
zhonghongyu的专栏
12-17 7952
本人在阅读了很多资料后，发现很多博客都在介绍损失函数，梯度下降等方法，但是很多文章没有把二者的关系讲解清楚，本文试着阐述二者关系，希望对大家有帮助 损失函数（Loss function）是用来估量你模型的预测值f(x)f(x)与真实值YY的不一致程度，它是一个非负实值函数，通常用L(Y,f(x))L(Y,f(x))来表示。损失函数越小，模型的鲁棒性就越好，常用的最小二乘法，大家可以参...
【深度学习】通过python画出loss曲线
紫芝的博客
04-21 9558
通过python画出loss曲线将训练过程中的running loss保存到文件1.读取txt文件2.取出相应列的数据作为绘图的x和y3.先创建一幅图，再在这幅图上添加一个小图4.画出整体的loss曲线 将训练过程中的running loss保存到文件 for x in range(100): with open('loss_records.txt', 'a') as f: f.write('%d %.3f\n' % (x, x + 1)) with open('accur
【pytorch深度学习 应用篇02】训练中loss图的解读，训练中的问题与经验汇总
原来也有北瓜
11-20 1837
Q2 怎么看loss和acc的变化 train loss ↘\searrow↘ 不断下降，test loss ↗\nearrow↗ 不断上升：原因很多，我当时把workers=0导致的 train loss ↘\searrow↘ 不断下降，test loss ⇝\leadsto⇝ 趋于不变：说明网络过拟合; train loss ↘\searrow↘ 不断下降，test loss ↘\searrow↘ 不断下降： 说明网络仍在学习; train loss ↘\searrow↘ 不断下降，test l
深度学习验证集的Loss走势图怎么画
weixin_28988985的博客
07-05 506
绘制深度学习验证集的Loss走势图是一项关键步骤，它有助于评估模型在训练过程中对验证集的表现。在这篇3000字的技术文章中，我们将详细讨论如何使用Python和深度学习框架（例如TensorFlow或PyTorch）来绘制验证集的Loss走势图。我们将包括代码示例，以便你可以轻松地应用到自己的项目中。1. 引言在深度学习模...
【MindSpore】【GradOperation】如何根据loss求梯度
weixin_45666880的博客
07-12 380
目前正在尝试迁移TF2的脚本，迁移过程中不知道如下部分如何合理地进行转换。尤其是不希望大量改动原来的代码，借助GradOperation算子是否可以实现红框中根据loss计算gradient的功能？解答：mindspore的求导是：GradOperation()(net)(*inputs)所以需要把输出loss值的网络提取出来，并且在这个网络上使用GradOperation进行求导。...
Pytorch深度学习教程合集——从基础到进阶
资源摘要信息:"Python深度学习实战——基于Pytorch" Python深度学习是当前人工智能领域的重要研究方向之一，而Pytorch作为该领域内的一个主要深度学习框架，因其灵活性和易用性受到广泛的欢迎。本资源提供了一系列...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值