pytorch-9-激活函数、loss及其梯度

最新推荐文章于 2023-06-24 20:12:04 发布
原创 最新推荐文章于 2023-06-24 20:12:04 发布 · 344 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #神经网络 #pytorch

本文探讨了PyTorch中激活函数的作用，包括不可导的阶梯函数和可导的sigmoid、tanh及ReLU函数，重点阐述了ReLU如何缓解梯度消失和爆炸问题。此外，还讲解了损失函数及其导数的两种计算方法，并提到了分类问题中常用的softmax激活函数。

激活函数及其梯度

1、激活函数及其梯度

在这里插入图片描述

  • 不可导的激活函数（阶梯函数）
    在这里插入图片描述
    可导的激活函数
  • sigmoid
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • tanh
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • Relu(很好用)
    在这里插入图片描述
    极大的减轻了梯度离散、梯度爆炸现象
    在这里插入图片描述
    在这里插入图片描述

2、loss及其梯度

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 求导：方法一
    在这里插入图片描述
    -求导：方法二
    在这里插入图片描述
    在这里插入图片描述
  • 分类激活函数：softmax
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
关于pytorch损失函数的梯度计算
weixin_40286308的博客
09-13 1837
今天想实现一个idea：对同一批数据，采用两次计算。第一次就用正常的交叉熵，第二次针对第一次的情况，对gt作出改变，再做一遍交叉熵。要想写同一批数据训练两次，还要引入控制变量，来控制哪一次是正常计算，哪一次是改变计算，太麻烦了。于是想到，我直接在算loss的时候，就算两遍，把两遍加起来，是不是就是等效的？最终去复习了pytorch的梯度机制，确定是差不多的。当然训练两次的话，第一次正常的结束后，模型就已经优化了，第二次改变的训练，用的是优化后的模型；而在loss里计算两次，用的都是优化前的模型。
PyTorch -- 最常见损失函数 LOSS 的选择
最新发布
哒哒哒哒 哒哒
06-13 1231
MSE CEL ...
Pytorch 04天——梯度、激活函数、loss及其梯度
small_bird1312的博客
10-18 429
梯度 梯度是一个所有偏微分的向量 1、求最小值
输出层的激活函数——softmax函数
weixin_46021869的博客
05-07 5258
概括 机器学习的问题大致可以分为分类问题和回归问题。分类问题是数据属于哪一个类别的问题。比如，区分图像中的人是男性还是女性的问题就是分类问题。而回归问题是根据某个输入预测一个（连续的）数值的问题。比如，根据一个人的图像预测这个人的体重问题是回归问题（类似“57.4kg”这样的预测）。 输出层所用的激活函数，根据求解问题的性质决定。一般，回归问题可以用恒等函数，二元分类问题可以用sigmoid函数，多元分类问题可以用softmax函数。 恒等函数：输出=输入 softmax函数：输出为一个函数 其中exp
pytorch学习笔记（十四）——LOSS及其梯度
weixin_46753186的博客
03-21 2872
pytorch深度学习：LOSS及其梯度
深度学习与PyTorch入门实战教程
01-30
亚洲排名第1的新加坡国立大学AI团队倾情打造，资深研究员龙龙老师主讲，帮助人工智能、深度学习初学者快速、深刻理解深度学习算法原理与实践。【莫烦老师】权威推荐：在教学中，龙龙老师以简短高效的方式，从深度学习的多个角度向我们展开了论述，非常适合想对深度学习有全方位了解的朋友。【PyTorch中文网】：讲解简单易懂、由浅入深，是一门值得推荐的课程。课程特色：1. 通俗易懂，快速入门对深度学习算法追本溯源、循序渐进式讲解，学员不需要任何机器学习基础，只需要写过代码即可轻松上手。2. 实用主导，简单高效使用新手最容易掌握的深度学习框架PyTorch实战，比起使用TensorFlow的课程难度降低了约50%，而且PyTorch是业界最灵活，最受好评的框架。3. 案例为师，实战护航基于计算机视觉和NLP领域的经典数据集，从零开始结合PyTorch与深度学习算法完成多个案例实战。4. 持续更新，永久有效一次购买，永久有效。深度学习课程会持续更新下去，内容和学术界最前沿算法保持同步。
a-PyTorch-Tutorial-to-Image-Captioning-master_pytorch_
09-30
5. **损失函数(Cross-Entropy Loss)**：在训练过程中，通常使用交叉熵损失来衡量生成的文本与真实标签之间的差异。 6. **训练与评估**：涉及模型的训练过程，如批大小、学习率调整、早停策略等，以及生成结果的评估...
Pytorch-Triplet_loss:用Pytorch实现三重损失
05-16
**Pytorch-Triplet_loss: 用Pytorch实现三重损失** 在深度学习领域，损失函数是模型训练的核心部分，它衡量模型预测结果与实际标签之间的差距。其中，三重损失（Triplet Loss）是一种在计算机视觉任务，尤其是人脸...
Pytorch --梯度下降算法
tynewbilar的博客
06-24 513
梯度下降算法是一种常用的最优化算法，它的目的是找到一个函数的最小值点，或者说是使得函数值尽可能地小。梯度下降算法的基本思想是，从一个初始点开始，沿着函数的负梯度方向（即函数下降最快的方向）不断地更新点的位置，直到达到一个局部最小值或者满足一定的停止条件。梯度是一个向量，它表示了函数在某一点处的方向导数最大的方向，也就是函数上升最快的方向。负梯度则表示了函数下降最快的方向。梯度的大小反映了函数变化的速率，梯度越大，说明函数变化越快，梯度越小，说明函数变化越缓慢。公式：权重-=学习率*loss函数的导数。
pytorch学习 激活函数和loss函数及其求导
weixin_42914662的博客
03-20 1360
文章目录1 激活函数1.1 sigmoid函数1.2 tanh函数1.3 Relu整形线性单元1.4softmax2 loss fuction2.1 均方差2.2.1 如何使用pytorch自动求导2.2 交叉cross熵entropy总结 # 前言 本文所有学习内容来自 [pytorch学这个就够了](https://www.bilibili.com/video/BV1Sr4y1N71H?p=29) 1 激活函数 激活函数包括sigmoid函数和tanh函数和relu函数和softmax函数（常与cro
Pytorch中的梯度知识总结
梦码城博客中心
11-02 4243
你真的了解Pytorch中梯度的计算原理吗？这篇文章主要涉及Pytorch中梯度计算的知识，包括什么是叶子向量，梯度反向传播原理，参数优化过程的详细解释。
Pytorch 自学笔记（二）：Pytorch中常用的激活函数与损失函数探究
duxiaodong1122的博客
07-02 4802
Pytorch自学笔记系列的第二篇针。对Pytorch中常用的激活函数与损失函数进行一个简单的介绍
pytorch学习笔记（七）——loss及其梯度
weixin_43886278的博客
02-07 4475
pytorch学习笔记（七）——loss及其梯度目录典型lossMSE 目录 典型loss 典型的loss有两种，第一种是均方差简称MSE。 第二种是用于分类的误差交叉熵，既可以用于二分类问题，也可以用于多分类问题。一般最后的输出要通过softmax函数，第二种loss我们放在之后的博客中讲解。 MSE （1）MSE定义 为方便，我们下面讲解MSE不再除以数据个数 （2）MSE求导 （3）p...
PyTorch教程（八）：常见激活函数与Loss的梯度
vincent_duan的专栏
02-22 508
如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机。 如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 上图就是一个最简单的激活函数，当∑i=0N>0\sum_{i=0}^N>0∑i=0N​>0时节点才会激活。 但是这个激活函数有一个问题是不可导，在∑i=0N=0\sum_{i=0}^N=0∑i=0N​=0处是处于不连续的情况下，因
PyTorch基本用法(三)——激活函数
SnailTyan
09-18 7076
PyTorch基本用法(三)——激活函数
Pytorch--LOSS及其梯度
weixin_44533869的博客
11-06 1131
LOSS及其梯度 . Mean Squared Error . Cross Entropy Loss . binary . multi-class . +softmax . leave it to Logistic Regression Part autograd.grad： import torch from torch.nn import functional as F # pred = wx + b x = torch.ones(1) w = torch.full([1
PyTorch教程（九）：损失函数与Loss的梯度
vincent_duan的专栏
02-22 8745
均方差Mean Squared Error（MSE） MSE基本形式： loss=∑[y−(xw+b)]2 loss = \sum[y-(xw+b)]^2 loss=∑[y−(xw+b)]2 这里的模型使用非常简单的线性感知机，如果使用其他的网络，则修改为loss=∑[y−f(x;w,b)]2loss = \sum[y-f(x;w,b)]^2loss=∑[y−f(x;w,b)]2 需要注意的是，这里的均方差MSE和L2-norm是有区别的： l2−norm=∑(y1−y2)2 l2-norm=\sqrt{\
从零开始学Pytorch（六）之梯度消失、梯度爆炸
Wenrui Xie的博客
02-28 3529
深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。 当神经网络的层数较多时，模型的数值稳定性容易变差。 假设一个层数为的多层感知机的第层的权重参数为，输出层的权重参数为。为了便于讨论，不考虑偏差参数，且设所有隐藏层的激活函数为恒等映射（identity mapping）。给定输入，多层感知机的第层的输出。此时，如果层数较大，的计算可能会出现衰减或爆炸。举个例...
pytorch的梯度计算以及backward方法
热门推荐
步步拾遗
03-21 4万+
tensors： tensor在pytorch里面是一个n维数组。我们可以通过指定参数reuqires_grad=True来建立一个反向传播图，从而能够计算梯度。在pytorch中一般叫做dynamic computation graph(DCG)——即动态计算图。 import torch import numpy as np # 方式一 x = torch.randn(2,2, requir...
PyTorch深度学习教程：激活函数与损失函数梯度分析
本压缩包包含了关于深度学习和PyTorch入门实战的重要知识点，尤其关注激活函数和损失函数（Loss）的梯度计算。通过视频教程、源代码和PPT，学习者可以系统地掌握深度学习中的关键概念和实用技能。本资源对于初学者和...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值