使用softmax函数且出现无法收敛现象的原因

避免在PyTorch中重复使用softmax与交叉熵损失函数

最新推荐文章于 2024-12-03 14:55:35 发布

原创最新推荐文章于 2024-12-03 14:55:35 发布 · 574 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch

当使用PyTorch的交叉熵损失函数时，应注意它内部已经包含了softmax操作。因此，应当移除代码中额外的softmax层，以防止计算错误和性能影响。

部署运行你感兴趣的模型镜像

直接原因：如果你使用的是交叉熵损失函数的，把你的softmax函数去掉即可，因为最新的pytorch框架已经集成了softmax函数，等于你用了两次。

感谢这位大佬的帮助

原文地址

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch

Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

GJmachine_code

关注关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

softmax函数详解 Illustrates how softmax regression works and presents

AI天才研究院

08-31

2624

作者：禅与计算机程序设计艺术 1.简介随着深度学习技术的不断推进、神经网络的普及应用，越来越多的研究人员和工程师将注意力放在机器学习领域的一些重要问题上——特别是分类任务（classification）上的一些非常具有挑战性的问题。在这项工作中，作者会从“软最大化回归”的原理出发，引导读者理解它在深度

神经网络模型loss不收敛、不下降问题汇总

科研学习笔记！

01-06

2万+

一、模型不收敛主要有以下几个原因： 1.learning rate设大了会带来跑飞（loss突然一直很大）的问题这个是新手最常见的情况——为啥网络跑着跑着看着要收敛了结果突然飞了呢？可能性最大的原因是你用了relu作为激活函数的同时使用了softmax或者带有exp的函数做分类层的loss函数。当某一次训练传到最后一层的时候，某一节点激活过度（比如100），那么exp(100)=Inf，发...

参与评论您还未登录，请先登录后发表或查看评论

几句话之逻辑回归和Softmax回归

清零2015的博客

11-12

312

逻辑回归用sigmoid函数，把线性回归的结果进行压缩，压缩到0~1之间。然后，把压缩结果和分类输出y（假设是0和1）对应起来：压缩结果>0.5，y为1；压缩结果<0.5，y为0。这样就相当于得到了概率函数，有了概率函数，就能写出似然函数。当然了，为了得到模型的一般形式，必然要引入一些模型参数。求这些模型参数，就用老办法：写出似然函数把似然函数加负号，转为损失函数梯度...

Softmax分类器及最优化

qq_43660987的博客

06-12

1万+

1，基本内容将线性分类得到的得分值转化为概率值，进行多分类，在SVM中的输出是得分值，Softmax的输出是概率。 2，Sigmoid函数表达式（值域为[0,1]）: 函数图像： Sigmoid函数可将任意实数映射到概率值[0,1]区间上，实现根据概率值的大小进行分类。 3，Softmax的输出 softmax 函数：其输入值是一个向量，向量中元素为任意实数的评分值，输出一个向量，其中每...

loss不下降

weixin_42195148的博客

11-23

897

本来，前几天的unet分割模型我已经调试并且跑出来精度很高的模型了，在用模型进行量化的时候发现出现了新的数据，而这个类型的数据在我训练集里是很少的，导致在预测这类数据的时候效果很差，只能把这类数据又标出来了一部分，混合之前的再次训练。按理说，模型效果不会波动很大，但是这次训练的时候损失值一直不下降，各种修改之后突然想起来，我之前训练的时候模型最后一层是个卷积，并没有加softmax来让特征值成为概率。果真，我loss不下降就是因为加了softmax，去掉之后loss大幅度下降，很神奇啊，通常最后一层的分类器

关于网络结构输出层加了softmax后，loss训练不下降的问题

Blossomers的博客

04-10

5541

小白第一次写，很多地方会显得比较生疏…… 首先记录的是为什么多分类问题中需要用softmax+crossentropyloss交叉熵函数的配合。交叉熵本质上是衡量输入与输出之间的区别，其值越小，则区别越小，毕竟从名字上看，熵就是衡量一种混乱程度嘛。在多分类问题中，我们通常会将输入的标签编码为one-hot形式，形如[0,0,1,0,0]，则此数据属于数据集中的第三类。这是交叉熵函数的输入之一。在我们训练的神经网络最后一层，我们通常会使用一个全连接层，其输出维度就是我们类的总个数。假定输..

人脸识别系列（十四）：NormFace

Fire_Light_的博客

03-18

5064

NormFace: L2 Hypersphere Embedding for Face Verification 提出问题之前的人脸识别工作，在特征比较阶段，通常使用的都是特征的余弦距离而余弦距离等价于L2归一化后的内积，也等价L2归一化后的欧式距离（欧式距离表示超球面上的弦长，两个向量之间的夹角越大，弦长也越大）然而，在实际上训练的时候用的都是没有L2归一化的内积关于这一点...

什么是softmax 上下溢出问题？softmax的意义以及和logistic函数区别

曾小健3的博客

12-03

1823

softmax 上下溢出问题？在计算机科学中，溢出（overflow）和下溢出（underflow）是指数据超出其存储类型所能表示的范围的情况。上溢出（Overflow）上溢出发生在数值超过了变量或数据类型的上限。例如，在一个8位无符号整数（范围是0到255）中，如果你尝试存储值256，就会发生上溢出。因为256超出了这个数据类型可以表示的最大值，结果可能会被截断为0（取决于具体的处理方式），这通常会导致错误的结果。2. 下溢出（Underflow）

Softmax函数与relu函数

热门推荐

记录知识，学习分享

04-10

4万+

激活函数是确定神经网络输出的数学方程式。激活函数的作用：给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数。 1、附加到网络中的每个神经元，并根据每个神经元的输入来确定是否应激活。 2、有助于将每个神经元的输出标准化到1到0或-1到1的范围内。常用非线性激活函数对比激活函数公式函数图像适合场景 Softmax 多分类任务输出层 Sigmoid 二分类任务输出层，模型隐藏层 Tanh

pytorch 交叉熵不收敛

t20134297的博客

07-02

1752

这两天利用pytorch搭建模型，训练分类网络，模型没问题，代码没问题，但是损失就是死活不收敛。看一下代码吧： src_prec, _ , src_feat = self.model(src_imgs) loss_src_ce = self.criterion_ce(src_prec[:, :self.src_classes], src_labels, weight_src) 死活不好使,搞不清楚，可是我后来稍微一改，改成下面的： src_prec, _ , src_feat = self.model(s

单层神经网络实现-pytorch-softmax-sigmoid使用

qq_37978256的博客

08-19

2495

7.示例：单层神经网络实现本节使用神经网络在iris数据集的多分类示例来说明神经网络的整个流程。一般的神经网络训练包括几个重要的步骤：数据准备，初始化权重，激活函数，前向计算，损失函数，计算损失，反向传播，更新参数，直到收敛或者达到终止条件。 import torch from torch import sigmoid import torch.nn.functional as F import matplotlib.pyplot as plt from sklearn.datasets impor

torch.softmax踩坑记录

weixin_44003026的博客

11-18

1247

使用torch.softmax会将原本torch.Size([2, 4, 2])的张量变成torch.Size([8, 2])，改成torch.nn.functional.softmax则不会改变张量维度，但是要记得指定softmax计算的维度torch.nn.functional.softmax（outputs, dim=-1）

【Torch踩坑】Transformer模型加入softmax不收敛问题

weixin_43457608的博客

11-25

429

当我训练transformer模型时，发现loss一直无法收敛，当我注释掉softmax时，loss得以收敛。但是再论文中最后输出是需要softmax的。

多分类（Softmax）交叉熵损失函数反向传播推导

Wilhelm_M的博客

06-28

761

上面这一点也提醒我们，多分类交叉熵损失函数只适用于单标签的多分类任务，不适用于该函数训练多标签分类任务（本人惨痛教训），切记。在上一篇随笔中，我提到了多分类（Softmax）交叉熵损失函数反向传播为。注意到，上式右边偏导数的算法取决于。所求的反向传播，实际上是损失函数。因为对于多分类任务，真实值。是否相等，因此我们将上式分开。，但并未证明，现将证明过程附上。是one-hot向量，所以。

softmax避坑，训练集80、90准确率，测试集一直50左右

qq_40929682的博客

04-27

2092

在使用softmax之后，大家一定要把outputs输出查看是否满足每一行或者每一列值相加为1（看自己输出是一列还是一行）（1）dim=0：对每一列的所有元素进行softmax运算，并使得每一列所有元素和为1。（2）dim=1：对每一行的所有元素进行softmax运算，并使得每一行所有元素和为1。 ...

Softmax数值不稳定问题

Shingle_的博客

08-24

4207

数值计算上溢和下溢计算机通过有限数量的位模式来表示无限多的实数，总会引入一些近似误差。如果涉及时没有考虑最小化舍入误差的累积，在实践时可能会导致算法实效。下溢：当接近零的数被四舍五入为零时发生下溢。许多函数在其参数为零而不是一个很小的正数时会表现出质的不同：避免零除避免取0的对数上溢：大量级的数被近似为无穷时发生上溢。必须对上溢和下溢进行数值稳定的一个例子...

神经网络模型不收敛原因、解决办法

褚骏逸的学习之路

05-22

1万+

目录0.可能原因汇总1.检查1.1.确保：数据干净、标注正确1.2.样本的信息量太大1.3.确保：归一化、标准化1.4.确保：数据Shuffle1.5.数据预处理1.6.确保：y与loss是搭配的1.7.确保输出层的激活函数正确2.模型优化2.1.learning rate设大了2.2.batchsize2.3.网络设定不合理2.4.数据正则化2.5.ReLU激活函数导致坏梯度2.6.正确初始化权重参考理论上，只要训练样本足够多，神经网络可以拟合原始数据分布。 0.可能原因汇总没有对数据进行归一化忘

损失函数一直在波动_炼丹笔记—模型训练损失不收敛解决方案

weixin_39899776的博客

11-23

3446

点击蓝字关注我们AI研习图书馆，发现不一样的世界炼丹笔记深度学习炼丹笔记一一、问题引入常见问题1：loss等于87.33，居高不降如上图所示，在开始训练后， loss升高到87.3365后保持不变。这个问题是因为梯度爆炸导致的。loss -= log(std::max(prob_data[i * dim + label_value * inner_num_ + j], ...