【知识星球】softmax损失相关的小问题

最新推荐文章于 2025-05-23 14:38:44 发布
原创 最新推荐文章于 2025-05-23 14:38:44 发布 · 352 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了图像分类任务中Softmax与Sigmoid损失函数的应用区别，解释了两者在多类别与二分类场景下的输入通道数差异，为读者提供了清晰的理解和学习资料。

欢迎大家来到《知识星球》专栏，这里是AI1000问小专题。

作者&编辑 | 言有三

1 Softmax相关的问题

Softmax在图像分类，分割任务中是很常见的，关于它有些常见的小问题，供大家思考学习。

有三AI1000问-机器学习篇

为什么分类任务softmax损失输入是2通道，sigmoid损失是1通道

640?wx_fmt=jpeg

想必大家都玩过图像分类了，为什么同样是2分类任务，softmax损失函数的输入是2通道而sigmoid损失函数的输入是1通道？

作者/编辑 言有三

归根结底还是因为这两个损失根本就不是用于同一个任务，尽管在二分类的时候它们恰好是同一个问题。

我们首先看一下softmax损失函数定义，i表示第i个样本，k表示第k类，C表示总类别数，yik是第i个样本第k类的标签，f(xik)即样本i属于第k类的概率。

640?wx_fmt=png

在k=0到C中，只有一个yik非零，这个损失函数的定义是用于多类别分类任务的，即一个样本只属于其中一个类别，比如手写数字的1，2，3，4，5，6，7。在具体实现损失的时候，就需要先取到非零的通道，按照上式计算该通道损失，所以输入通道数目为2。

再看sigmoid损失函数定义：

640?wx_fmt=png

从这个式子可以看出，根本就没有类别C的概念，yi即是否为正样本，f(xi)即样本i是否为正样本的概率，所以单个的sigmoid损失函数只能用于二分类问题。假如有一个分类任务为男，女，老，少，就需要2个sigmoid损失函数。在具体实现损失的时候，每一类问题只需要知道一个正样本概率直接带入上式即可，所以输入通道数目为1。

640?wx_fmt=jpeg

2 更多AI1000问

更多的AI1000，可以移步知识星球阅读！

640?wx_fmt=jpeg

有三AI知识星球的内容非常多，大家可以预览一些内容如下。

640?wx_fmt=png

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg


以上所有内容

加入有三AI知识星球即可获取

来日方长

点击加入

不见不散

更多精彩

每日更新


640?wx_fmt=jpeg

转载文章请后台联系

侵权必究

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

往期精选

深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 37万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
《Python星球日记》 第57天：LSTM 与 GRU
Code_流苏：在代码中寻诗意，在实践中觅真知
05-12 908
《Python星球日记》 第57天：LSTM 与 GRU，我们深入探讨了循环神经网络（RNN）的两种变体：长短期记忆网络（LSTM）和门控循环单元（GRU）。LSTM通过记忆单元和三种门控机制（遗忘门、输入门、输出门）解决了RNN的长期依赖问题，适合处理长序列数据。GRU则是LSTM的简化版本，使用更新门和重置门，减少了参数数量，提升了计算效率，适用于多数任务。文章还介绍了解决长序列问题的其他方法，如双向LSTM/GRU、注意力机制和分层结构
使用softmax中需要注意哪些问题？
weixin_39769935的博客
05-18 770
关注微信公众号“百面机器学习”获得更多 问题引入 softmax是一个很有用的东西，在我们的分类问题中经常被用到，大家在构建神经网络以及在学习word2vec的时候都会用到softmax函数，那么实际在使用softmax的过程中有哪些需要注意的呢？ 看来看好像根据公式直接算就可以了，但是中间还有写细节问题，下面我们一起来看一下。 问题解答 在我们的softmax计算过程中会遇到上溢下溢的问题，这点我们可以从softmax的函数中看到。 f(x)=exp⁡(x)∑i=1kexp⁡(x)f(x) = \frac
关于softmax稳定性问题
weixin_30718391的博客
12-23 153
因为softmax中指数函数，很容易超出计算机表达的最大值，所以采用分子分母同时乘N的方法，N一般为最大值。 转载于:https://www.cnblogs.com/mdumpling/p/8094194.html...
softmax类loss
knightprin的博客
04-02 218
本篇讲述softmax类loss。 softmax, 即在最后一层输出，利用exp映射到0-1的范围中。 σi(z)=ezi∑j=1mezi, \sigma_i(z) = \frac{e^{z_i}}{\sum_{j=1}^{m}e^{z_i}}, σi​(z)=∑j=1m​ezi​ezi​​, 可知每层结点输出值的总和为1, 可模拟概率分布输出。 下面讲述交叉熵, (cross-entropy)...
softmax
qq_56583393的博客
09-20 356
图3式中如果x为很大的正数，e的x次幂过大，导致float32溢出，称为上溢出。如果x为很小的负数，e的x次幂为接近0，超过有效数字后就是0，而如果分母都是0，就出现了除0错，称为下溢出。解决方案是分子上下，同时除以e的max(x)次幂，如图4所示。（1）Softmax函数是二分类函数Sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。（3）当发生上溢出时，分子为0，故而避免了上溢出而发生下溢出时，分母中至少有一个为1，避免了除0错，故而避免了下溢出。
softmax（三）：softmax交叉熵的缺点
weixin_45209433的博客
05-12 1793
还是废话不说，直接上峰神的链接 Softmax理解之Smooth程度控制 softmax交叉熵我们经常使用，但是为啥有的任务，用softmax交叉熵效果很好，有的任务用效果却不怎么样。在实际项目中，分析softmax交叉熵的缺点，才能知道，什么时候有用，失效的怎么去优化。 不要总是当个黑盒子，什么情况下都用，精度上不去的时候，又不知道怎么去优化。 softmax交叉熵为啥会有不管用的时候呢，原因很简单，因为它不是我们真正的目标函数，是目标函数smooth过来的，为了方便求导和计算，那么我们就要和真正的目标函
LLMs 损失函数篇
最新发布
风一样
05-23 881
本文介绍了多种损失函数及其应用场景。首先，KL散度用于衡量两个概率分布的差异，而交叉熵损失函数则常用于分类问题，衡量预测分布与真实标签分布之间的信息差。KL散度与交叉熵的区别在于前者是非对称的，后者是前者的特殊形式。在多任务学习中，若各任务损失差异过大，可通过动态调整权重等方法处理。分类问题中，交叉熵损失函数比均方误差更适用，因其对概率差异更敏感。信息增益用于决策树算法中选择最佳特征。多分类问题中，Softmax交叉熵损失函数将输出归一化为概率分布。最后，若Softmax的指数计算超出浮点数范围，可通过调整
《Python星球日记》 第52天：反向传播与优化器
Code_流苏：在代码中寻诗意，在实践中觅真知
05-10 849
本文深入探讨了神经网络的核心学习机制——反向传播算法及其优化方法。首先，反向传播通过链式法则计算损失函数对网络参数的梯度，实现参数更新。其次，文章回顾了梯度下降法的多种变体，包括标准梯度下降（BGD）、随机梯度下降（SGD）和小批量梯度下降（Mini-batch SGD），并介绍了进阶优化算法如动量法、RMSProp和Adam，这些方法在速度和稳定性上取得了平衡。此外，文章详细解析了损失函数的作用，特别是均方误差（MSE）和交叉熵损失的应用场景及其特点。最后，强调了权重初始化的重要性，介绍了零初始化、随机初
《Python星球日记》 第51天：神经网络基础
Code_流苏：在代码中寻诗意，在实践中觅真知
05-10 1338
神经网络是什么？简单来说，它是一种模仿人类大脑结构和工作方式的算法模型，能够从大量数据中学习复杂的模式。无论是语音识别、图像分类还是自然语言处理，神经网络都展现出了强大的能力。让我们一起踏上这段奇妙的旅程吧！
【深度学习基础知识 - 30】softmax的概念、作用以及存在的问题
yanyuxiangtoday的博客
08-22 5644
softmax是深度学习任务中常用于计算最终输出类别的函数。 1. softmax概念 softmax和我们普通意义上的max函数不同，每一个元素都有一个概率，而不是其中一个元素为1，其余为0。它的含义是对于输入向量，有多大的概率去选择元素1、元素2、元素3等，主要的目的是使得概率计算过程可导。 2. softmax计算公式 3. softmax可能遇到的问题 因为softmax函数中存在指数，所以可能会出现上溢和下溢问题，导致最终结果错误但是不会报错，因此使用softmax函数时候一定要考虑该问题
深度学习入门——softmax函数的改进
小杨的博客
09-05 2845
softmax函数的运算涉及到了指数函数的计算，故对于计算机而言就存在了一个 “溢出问题” 因为指数函数的增长容易变得非常大，这些超大值之间进行除法，结果会出现 nan（not a number 不确定） 计算机在进行数值运算时，数值的大小必须在4字节或者8字节的有效数据带宽内 故需要对softmax函数进行改进： 在分子分母同乘以C常数，结果不变。 故在softmax函数的指数运算中，加...
深度学习原理42——一文彻底理解sigmoid和softmax的区别和输出通道维度的关系
xiaotiig的博客
12-31 1万+
1 模型的输出基本上分为3种情况，当然还有其它的： （1）分类：2分类，多分类，对应输出为一个预测向量，可以是1个，两个，多个 （2）目标检测：对应二维矩阵m*n,m行代表有m个目标，n列代表n个特征预测值，x,y,类别类型。 （3）语义分割： 2 二分类sigmoid 输出通道维度是1，用sigmoid 输出通道维度是2，用softmax 3 多分类 多分类用softmax，同时注意算不算背景，多分类考虑不考虑其它，语义分割考虑不考虑背景，考虑的话需要在类别的基础上加1，比如20+1 ...
softmax多分类问题中的几个问题
欢迎来到 豪哥 的博客
06-06 868
这个，在tenorflow 2.0 学习softmax多分类问题时遇到的几个问题，在这里和大家分享，包括损失函数的推导，还有数字编码和独热编码使用 不同 loss function 的区别和联系。 修仙炼丹时遇到的几个问题一 . 为什么用交叉熵loss function 而不用MSE（包含推导）?二 . categorical_crossentropy和sparse_categorical_crossentropy的区别 一 . 为什么用交叉熵loss function 而不用MSE（包含推导）? 原因之一
入门级都能看懂的softmax详解
热门推荐
bitcarmanlee的博客
09-02 69万+
1.softmax初探 在机器学习尤其是深度学习中，softmax是个非常常用而且比较重要的函数，尤其在多分类的场景中使用广泛。他把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1。 首先我们简单来看看softmax是什么意思。顾名思义，softmax由两个单词组成，其中一个是max。对于max我们都很熟悉，比如有两个变量a,b。如果a>b，则max为...
【机器学习】Softmax Regression和类别不平衡问题
feng_zhiyu的博客
08-22 1078
从机器学习（周志华版）、统计学习方法和网络资源学习笔记。这里是图片形式。 Logistic Regression 更多内容见：【机器学习】线性模型 Softmax Regression 机器学习3.6节类别不平衡问题的学习 参考资料： 机器学习，周志华著 统计学习方法，李航著 Softmax回归 逻辑回归：损失函数与梯度下降 逻辑回归损失函数与最大似然估计 简单易...
softmax 代码实现
yh1226的博客
01-27 6651
softmax在深度学习分类任务中常被用于最后一层输出每个类别的概率，其公式如下： Zj表示第j个类别的输出值，一共有K类。在神经网络分类任务中，假如我们有3个类别，那么在神经网络的经过softmax之前会得到一个含有三个输出值的向量z（这里假设batchsize=1）。z中的三个值经过上面的softmax函数后会被映射成三个在（0,1）之间的概率值。 下面我们用代码来实现s...
softmax溢出问题
muyuu的博客
01-31 3837
目录上溢及下溢softmax交叉熵损失 softmax函数是深度学习常用的输出函数，它的表达式如下： yj^=exj∑i=1nexi\hat{y_j} = \frac{e^{x_j}}{\sum_{i=1}^{n} e^{x_i}}yj​^​=∑i=1n​exi​exj​​ 上溢及下溢 但是如果 xjx_jxj​ 是一个很大的数，那么 exje^{x_j}exj​ 可能会大于数据类型容许的最大数字，造成上溢，这将使分母或分子变为 infinfinf， 最后得到的是0、infinfinf 或 nannanna
深度学习基础--SOFTMAX回归（单层神经网络）
小小城序员的博客
10-05 1557
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
深入研究：softmax变种及损失函数改进论文概览
与softmax函数紧密相关的是交叉熵损失函数。在训练分类模型时，我们通常会最小化一个带有softmax的交叉熵损失函数： \[ L = -\sum_{i=1}^n \log(p_{y_i}) \] 其中，\( n \) 是样本数量，\( y_i \) 是样本的真实...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值