【知识星球】softmax损失相关的小问题

最新推荐文章于 2025-05-10 23:51:07 发布
最新推荐文章于 2025-05-10 23:51:07 发布
阅读量253 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hacker_long/article/details/100138553
本文深入探讨了图像分类任务中Softmax与Sigmoid损失函数的应用区别，解释了两者在多类别与二分类场景下的输入通道数差异，为读者提供了清晰的理解和学习资料。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

欢迎大家来到《知识星球》专栏，这里是AI1000问小专题。

作者&编辑 | 言有三

1 Softmax相关的问题

Softmax在图像分类，分割任务中是很常见的，关于它有些常见的小问题，供大家思考学习。

有三AI1000问-机器学习篇

为什么分类任务softmax损失输入是2通道，sigmoid损失是1通道

640?wx_fmt=jpeg

想必大家都玩过图像分类了，为什么同样是2分类任务，softmax损失函数的输入是2通道而sigmoid损失函数的输入是1通道？

作者/编辑 言有三

归根结底还是因为这两个损失根本就不是用于同一个任务，尽管在二分类的时候它们恰好是同一个问题。

我们首先看一下softmax损失函数定义，i表示第i个样本，k表示第k类，C表示总类别数，yik是第i个样本第k类的标签，f(xik)即样本i属于第k类的概率。

640?wx_fmt=png

在k=0到C中，只有一个yik非零，这个损失函数的定义是用于多类别分类任务的，即一个样本只属于其中一个类别，比如手写数字的1，2，3，4，5，6，7。在具体实现损失的时候，就需要先取到非零的通道，按照上式计算该通道损失，所以输入通道数目为2。

再看sigmoid损失函数定义：

640?wx_fmt=png

从这个式子可以看出，根本就没有类别C的概念，yi即是否为正样本，f(xi)即样本i是否为正样本的概率，所以单个的sigmoid损失函数只能用于二分类问题。假如有一个分类任务为男，女，老，少，就需要2个sigmoid损失函数。在具体实现损失的时候，每一类问题只需要知道一个正样本概率直接带入上式即可，所以输入通道数目为1。

640?wx_fmt=jpeg

2 更多AI1000问

更多的AI1000，可以移步知识星球阅读！

640?wx_fmt=jpeg

有三AI知识星球的内容非常多，大家可以预览一些内容如下。

640?wx_fmt=png

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg


以上所有内容

加入有三AI知识星球即可获取

来日方长

点击加入

不见不散

更多精彩

每日更新


640?wx_fmt=jpeg

转载文章请后台联系

侵权必究

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

往期精选

深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 33万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
《Python星球日记》 第57天：LSTM 与 GRU
最新发布
Code_流苏：在代码中寻诗意，在实践中觅真知
05-12 737
《Python星球日记》 第57天：LSTM 与 GRU，我们深入探讨了循环神经网络（RNN）的两种变体：长短期记忆网络（LSTM）和门控循环单元（GRU）。LSTM通过记忆单元和三种门控机制（遗忘门、输入门、输出门）解决了RNN的长期依赖问题，适合处理长序列数据。GRU则是LSTM的简化版本，使用更新门和重置门，减少了参数数量，提升了计算效率，适用于多数任务。文章还介绍了解决长序列问题的其他方法，如双向LSTM/GRU、注意力机制和分层结构
softmax类loss
knightprin的博客
04-02 202
本篇讲述softmax类loss。 softmax, 即在最后一层输出，利用exp映射到0-1的范围中。 σi(z)=ezi∑j=1mezi, \sigma_i(z) = \frac{e^{z_i}}{\sum_{j=1}^{m}e^{z_i}}, σi​(z)=∑j=1m​ezi​ezi​​, 可知每层结点输出值的总和为1, 可模拟概率分布输出。 下面讲述交叉熵, (cross-entropy)...
使用softmax中需要注意哪些问题？
weixin_39769935的博客
05-18 753
关注微信公众号“百面机器学习”获得更多 问题引入 softmax是一个很有用的东西，在我们的分类问题中经常被用到，大家在构建神经网络以及在学习word2vec的时候都会用到softmax函数，那么实际在使用softmax的过程中有哪些需要注意的呢？ 看来看好像根据公式直接算就可以了，但是中间还有写细节问题，下面我们一起来看一下。 问题解答 在我们的softmax计算过程中会遇到上溢下溢的问题，这点我们可以从softmax的函数中看到。 f(x)=exp⁡(x)∑i=1kexp⁡(x)f(x) = \frac
关于softmax稳定性问题
weixin_30718391的博客
12-23 143
因为softmax中指数函数，很容易超出计算机表达的最大值，所以采用分子分母同时乘N的方法，N一般为最大值。 转载于:https://www.cnblogs.com/mdumpling/p/8094194.html...
softmax
qq_56583393的博客
09-20 254
图3式中如果x为很大的正数，e的x次幂过大，导致float32溢出，称为上溢出。如果x为很小的负数，e的x次幂为接近0，超过有效数字后就是0，而如果分母都是0，就出现了除0错，称为下溢出。解决方案是分子上下，同时除以e的max(x)次幂，如图4所示。（1）Softmax函数是二分类函数Sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。（3）当发生上溢出时，分子为0，故而避免了上溢出而发生下溢出时，分母中至少有一个为1，避免了除0错，故而避免了下溢出。
softmax（三）：softmax交叉熵的缺点
weixin_45209433的博客
05-12 1706
还是废话不说，直接上峰神的链接 Softmax理解之Smooth程度控制 softmax交叉熵我们经常使用，但是为啥有的任务，用softmax交叉熵效果很好，有的任务用效果却不怎么样。在实际项目中，分析softmax交叉熵的缺点，才能知道，什么时候有用，失效的怎么去优化。 不要总是当个黑盒子，什么情况下都用，精度上不去的时候，又不知道怎么去优化。 softmax交叉熵为啥会有不管用的时候呢，原因很简单，因为它不是我们真正的目标函数，是目标函数smooth过来的，为了方便求导和计算，那么我们就要和真正的目标函
《Python星球日记》 第52天：反向传播与优化器
Code_流苏：在代码中寻诗意，在实践中觅真知
05-10 628
本文深入探讨了神经网络的核心学习机制——反向传播算法及其优化方法。首先，反向传播通过链式法则计算损失函数对网络参数的梯度，实现参数更新。其次，文章回顾了梯度下降法的多种变体，包括标准梯度下降（BGD）、随机梯度下降（SGD）和小批量梯度下降（Mini-batch SGD），并介绍了进阶优化算法如动量法、RMSProp和Adam，这些方法在速度和稳定性上取得了平衡。此外，文章详细解析了损失函数的作用，特别是均方误差（MSE）和交叉熵损失的应用场景及其特点。最后，强调了权重初始化的重要性，介绍了零初始化、随机初
《Python星球日记》 第51天：神经网络基础
Code_流苏：在代码中寻诗意，在实践中觅真知
05-10 1141
神经网络是什么？简单来说，它是一种模仿人类大脑结构和工作方式的算法模型，能够从大量数据中学习复杂的模式。无论是语音识别、图像分类还是自然语言处理，神经网络都展现出了强大的能力。让我们一起踏上这段奇妙的旅程吧！
《Python星球日记》 第55天：迁移学习与预训练模型
Code_流苏：在代码中寻诗意，在实践中觅真知
05-10 1166
《Python星球日记》 第55天：迁移学习与预训练模型，今天我们将探索深度学习中的一项重要技术——迁移学习，以及如何利用预训练模型来提升我们的模型性能。无论你是想节省训练时间，还是面临数据量不足的挑战，这些技术都将帮助你构建更强大的神经网络。
【深度学习基础知识 - 30】softmax的概念、作用以及存在的问题
yanyuxiangtoday的博客
08-22 5458
softmax是深度学习任务中常用于计算最终输出类别的函数。 1. softmax概念 softmax和我们普通意义上的max函数不同，每一个元素都有一个概率，而不是其中一个元素为1，其余为0。它的含义是对于输入向量，有多大的概率去选择元素1、元素2、元素3等，主要的目的是使得概率计算过程可导。 2. softmax计算公式 3. softmax可能遇到的问题 因为softmax函数中存在指数，所以可能会出现上溢和下溢问题，导致最终结果错误但是不会报错，因此使用softmax函数时候一定要考虑该问题
深度学习原理42——一文彻底理解sigmoid和softmax的区别和输出通道维度的关系
xiaotiig的博客
12-31 1万+
1 模型的输出基本上分为3种情况，当然还有其它的： （1）分类：2分类，多分类，对应输出为一个预测向量，可以是1个，两个，多个 （2）目标检测：对应二维矩阵m*n,m行代表有m个目标，n列代表n个特征预测值，x,y,类别类型。 （3）语义分割： 2 二分类sigmoid 输出通道维度是1，用sigmoid 输出通道维度是2，用softmax 3 多分类 多分类用softmax，同时注意算不算背景，多分类考虑不考虑其它，语义分割考虑不考虑背景，考虑的话需要在类别的基础上加1，比如20+1 ...
深度学习入门——softmax函数的改进
小杨的博客
09-05 2786
softmax函数的运算涉及到了指数函数的计算，故对于计算机而言就存在了一个 “溢出问题” 因为指数函数的增长容易变得非常大，这些超大值之间进行除法，结果会出现 nan（not a number 不确定） 计算机在进行数值运算时，数值的大小必须在4字节或者8字节的有效数据带宽内 故需要对softmax函数进行改进： 在分子分母同乘以C常数，结果不变。 故在softmax函数的指数运算中，加...
入门级都能看懂的softmax详解
热门推荐
bitcarmanlee的博客
09-02 67万+
1.softmax初探 在机器学习尤其是深度学习中，softmax是个非常常用而且比较重要的函数，尤其在多分类的场景中使用广泛。他把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1。 首先我们简单来看看softmax是什么意思。顾名思义，softmax由两个单词组成，其中一个是max。对于max我们都很熟悉，比如有两个变量a,b。如果a>b，则max为...
softmax多分类问题中的几个问题
欢迎来到 豪哥 的博客
06-06 848
这个，在tenorflow 2.0 学习softmax多分类问题时遇到的几个问题，在这里和大家分享，包括损失函数的推导，还有数字编码和独热编码使用 不同 loss function 的区别和联系。 修仙炼丹时遇到的几个问题一 . 为什么用交叉熵loss function 而不用MSE（包含推导）?二 . categorical_crossentropy和sparse_categorical_crossentropy的区别 一 . 为什么用交叉熵loss function 而不用MSE（包含推导）? 原因之一
深度学习基础--SOFTMAX回归（单层神经网络）
小小城序员的博客
10-05 1499
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
CNN入门讲解：我的Softmax和你的不太一样
bobo_jiang的博客
08-11 5336
首发于知乎专栏： 卷积神经网络（CNN）入门讲解​ 个人公众号：follow_bobo   时隔一个月，我又回来了 好了，好了 （做出停止鼓掌的手势 今天我们的主题是CNN最后最后那个Softmax Function 可是网上已经把关于Softmax讲烂了 于是今天，我只想谈谈我对Softmax某些方面的理解 建议大家看之前，先去别的地方学习一些Softmax 敲黑板了，...
softmax数值不稳定问题及解决办法
zjchenchujie的博客
07-15 3175
上溢和下溢 计算机通过有限数量的位模式来表示无限多的实数，总会引入一些近似误差。如果涉及时没有考虑最小化舍入误差的累积，在实践时可能会导致算法实效。 下溢：当接近零的数被四舍五入为零时发生下溢。 许多函数在其参数为零而不是一个很小的正数时会表现出质的不同： 避免零除 避免取0的对数 上溢：大量级的数被近似为无穷时发生上溢。 必须对上溢和下溢进行数值稳定的一个例子是softmax函数 so...
softmax算法——处理分类问题
实践求真知
04-27 7782
一 介绍softmax基本可以算是分类任务的标配。本篇介绍softmax是什么，以及softmax图解和举例。二 什么是softmax现实生活中需要对某一问题进行多种分类，例如对图片进行分类的例子，这时就需要使用softmax算法。softmax，就是如果判断输入属于某一个类的概率大于属于其他类的概率，那么这个类对应的值就逼近于1，其他类的值就逼近于0.该算法主要应用就是多分类，而且是互斥的，即只...
naive softmax损失
03-13
Naive Softmax损失是一种用于多分类任务的损失函数，它在神经网络中常用于输出层的激活函数为softmax函数的情况下。它的目标是最小化模型预测值与真实标签之间的差异。 具体来说，Naive Softmax损失的计算过程如下： 1. 首先，对于每个样本，模型会计算出一个预测向量，其中每个元素表示该样本属于某个类别的概率。 2. 接着，将预测向量通过softmax函数进行归一化，得到每个类别的概率分布。 3. 然后，将真实标签表示为一个one-hot向量，其中对应真实类别的元素为1，其他元素为0。 4. 最后，使用交叉熵损失函数来度量预测概率分布与真实标签之间的差异。 Naive Softmax损失的数学表达式如下： L = -sum(y_i * log(p_i)) 其中，L表示损失值，y_i表示真实标签中第i个类别的值（0或1），p_i表示模型预测的第i个类别的概率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值