【知识星球】softmax损失相关的小问题

言有三 言有三 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 500+累计阅读 499平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄15年
关注
原创 最新推荐文章于 2026-06-30 13:35:14 发布 499 阅读 AI 写同款· GEO 优化 ›
大模型稀疏激活原理：MoE架构如何实现万亿参数高效计算 稀疏激活是现代大语言模型提升计算效率的核心机制，其本质源于Mixture of Experts（MoE）架构的设计原理——通过动态路由在海量专家中仅激活少量专用计算单元，从而解耦模型容量与实时计算开销。该技术显著降低显存占用与推理延迟，使千亿级参数模型可在有限硬件上部署。其价值不仅体现在参数规模的指数扩展，更在于支持长上下文、多领域长尾任务及低延迟服务等工程场景。本文深入解析MoE中专家设计、路由器机制与稀疏性量化方法，并结合GPT-4、DeepSeek-R1等典型模型，揭示‘1.8万亿参数’与‘2%激活率 阅读详情

欢迎大家来到《知识星球》专栏，这里是AI1000问小专题。

作者&编辑 | 言有三

1 Softmax相关的问题

Softmax在图像分类，分割任务中是很常见的，关于它有些常见的小问题，供大家思考学习。

有三AI1000问-机器学习篇

为什么分类任务softmax损失输入是2通道，sigmoid损失是1通道

640?wx_fmt=jpeg

想必大家都玩过图像分类了，为什么同样是2分类任务，softmax损失函数的输入是2通道而sigmoid损失函数的输入是1通道？

作者/编辑 言有三

归根结底还是因为这两个损失根本就不是用于同一个任务，尽管在二分类的时候它们恰好是同一个问题。

我们首先看一下softmax损失函数定义，i表示第i个样本，k表示第k类，C表示总类别数，yik是第i个样本第k类的标签，f(xik)即样本i属于第k类的概率。

640?wx_fmt=png

在k=0到C中，只有一个yik非零，这个损失函数的定义是用于多类别分类任务的，即一个样本只属于其中一个类别，比如手写数字的1，2，3，4，5，6，7。在具体实现损失的时候，就需要先取到非零的通道，按照上式计算该通道损失，所以输入通道数目为2。

再看sigmoid损失函数定义：

640?wx_fmt=png

从这个式子可以看出，根本就没有类别C的概念，yi即是否为正样本，f(xi)即样本i是否为正样本的概率，所以单个的sigmoid损失函数只能用于二分类问题。假如有一个分类任务为男，女，老，少，就需要2个sigmoid损失函数。在具体实现损失的时候，每一类问题只需要知道一个正样本概率直接带入上式即可，所以输入通道数目为1。

640?wx_fmt=jpeg

2 更多AI1000问

更多的AI1000，可以移步知识星球阅读！

640?wx_fmt=jpeg

有三AI知识星球的内容非常多，大家可以预览一些内容如下。

640?wx_fmt=png

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg


以上所有内容

加入有三AI知识星球即可获取

来日方长

点击加入

不见不散

更多精彩

每日更新


640?wx_fmt=jpeg

转载文章请后台联系

侵权必究

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

往期精选

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
机器学习工程师必备的6个高价值技术博客清单 机器学习不是纯算法竞赛，而是涵盖数学直觉、框架底层、生产部署的全栈工程实践。理解BatchNorm失效原理、ONNX跨平台兼容性、实验元数据管理等核心概念，是突破模型效果瓶颈与线上服务延迟的关键。这些能力依赖可验证的失败归因、实时演进的技术判断和跨栈互操作指南——而非泛泛而谈的调参技巧或流量导向的碎片知识。本文聚焦六家经三年以上工业项目验证的结构化技术博客，覆盖PyTorch/TensorFlow底层机制、大模型工程化落地、边缘部署陷阱等真实场景，为算法工程师提供可立即复用的信息坐标系。 阅读详情

相关推荐

CNN入门讲解：我的Softmax和你的不太一样

首发于知乎专栏： 卷积神经网络（CNN）入门讲解​ 个人公众号：follow_bobo   时隔一个月，我又回来了 好了，好了 （做出停止鼓掌的手势 今天我们的主题是CNN最后最后那个Softmax Function 可是网上已经把关于Softmax讲烂了 于是今天，我只想谈谈我对Softmax某些方面的理解 建议大家看之前，先去别的地方学习一些Softmax 敲黑板了，...

bobo_jiang的博客 5414

softmax

图3式中如果x为很大的正数，e的x次幂过大，导致float32溢出，称为上溢出。如果x为很小的负数，e的x次幂为接近0，超过有效数字后就是0，而如果分母都是0，就出现了除0错，称为下溢出。解决方案是分子上下，同时除以e的max(x)次幂，如图4所示。（1）Softmax函数是二分类函数Sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。（3）当发生上溢出时，分子为0，故而避免了上溢出而发生下溢出时，分母中至少有一个为1，避免了除0错，故而避免了下溢出。

qq_56583393的博客 437

Softmax数值不稳定问题

数值计算 上溢和下溢 计算机通过有限数量的位模式来表示无限多的实数，总会引入一些近似误差。如果涉及时没有考虑最小化舍入误差的累积，在实践时可能会导致算法实效。 下溢：当接近零的数被四舍五入为零时发生下溢。 许多函数在其参数为零而不是一个很小的正数时会表现出质的不同： 避免零除 避免取0的对数 上溢：大量级的数被近似为无穷时发生上溢。 必须对上溢和下溢进行数值稳定的一个例子...

Shingle_的博客 4298

softmax（三）：softmax交叉熵的缺点

还是废话不说，直接上峰神的链接 Softmax理解之Smooth程度控制 softmax交叉熵我们经常使用，但是为啥有的任务，用softmax交叉熵效果很好，有的任务用效果却不怎么样。在实际项目中，分析softmax交叉熵的缺点，才能知道，什么时候有用，失效的怎么去优化。 不要总是当个黑盒子，什么情况下都用，精度上不去的时候，又不知道怎么去优化。 softmax交叉熵为啥会有不管用的时候呢，原因很简单，因为它不是我们真正的目标函数，是目标函数smooth过来的，为了方便求导和计算，那么我们就要和真正的目标函

weixin_45209433的博客 1866

给新人的储能系统入门图解：从电芯到EMS，一张图看懂BESS里那些‘黑话’

本文通过视觉化拆解储能系统，从电芯到EMS详细解析BESS中的关键组件和行业术语。涵盖电芯参数、模组组装、PCS功能、BMS与EMS分工，以及SOC、DOD等关键运维参数，帮助新人快速理解储能系统的核心技术和应用场景。

weixin_42522964的博客 595

以太网接口及POE设计

PoE标准 Power Over Ethernet 是有源以太网供电的简称 通过Cat-5电缆供电在IEEE 802.3af以太网供电标准中进行了定义。PoE标准以前限制在几瓦以内，但更新的PoE技术可实现更高的功率。例如，PoE+允许每端口功率高达25 W，而PoE++（四 对以太网供电系统）通过使用现有电缆的所有电线允许70 W到100 W的功率。与此PoE标准并行的是ADI公司定义的专有标准 LTPoE++™，该标准定义高达90W的受电设备(PD)功率规范（请参见表1）。 表1. ADI...

u010783226的专栏 1万+

【深度学习基础知识 - 30】softmax的概念、作用以及存在的问题

softmax是深度学习任务中常用于计算最终输出类别的函数。 1. softmax概念 softmax和我们普通意义上的max函数不同，每一个元素都有一个概率，而不是其中一个元素为1，其余为0。它的含义是对于输入向量，有多大的概率去选择元素1、元素2、元素3等，主要的目的是使得概率计算过程可导。 2. softmax计算公式 3. softmax可能遇到的问题 因为softmax函数中存在指数，所以可能会出现上溢和下溢问题，导致最终结果错误但是不会报错，因此使用softmax函数时候一定要考虑该问题

yanyuxiangtoday的博客 5743

CST STUDIO SUITE 2023安装

破解工具的Crack文件夹内有一个名为「CST Studio Suite 2022」的文件夹，这也是于CST的安装目录同名的文件夹，直接把它拷贝到CST Studio Suite 2022的同级路径下即可，比如你的CST安装路径为：D:\Program Files\CST Studio Suite 2022，则将Crack目录内的「CST Studio Suite 2022」文件夹复制到 D:\Program Files\ 这个级别的路径下即可。软件百度网盘链接放在文章末尾啦！先不着急启动CST或者激活。

m0_49516223的博客 4130

使用softmax中需要注意哪些问题？

关注微信公众号“百面机器学习”获得更多 问题引入 softmax是一个很有用的东西，在我们的分类问题中经常被用到，大家在构建神经网络以及在学习word2vec的时候都会用到softmax函数，那么实际在使用softmax的过程中有哪些需要注意的呢？ 看来看好像根据公式直接算就可以了，但是中间还有写细节问题，下面我们一起来看一下。 问题解答 在我们的softmax计算过程中会遇到上溢下溢的问题，这点我们可以从softmax的函数中看到。 f(x)=exp⁡(x)∑i=1kexp⁡(x)f(x) = \frac

weixin_39769935的博客 794

字节跳动扣子AI应用开发平台之实战

推出背景：扣子平台由字节跳动推出，旨在让非开发者也能快速创建、调试和优化聊天机器人。上线时间：扣子平台于2024年2月1日正式上线。功能定位：扣子是一个AI聊天机器人和应用程序编辑开发平台，可以理解为字节跳动版的GPTs。

恩爸编程 5899

代码解读：使用Stable Diffusion完成相似图像生成任务

作为内容生产重要的一部分，生成相似图像是一项有意义的工作，例如很多内容创作分享平台单纯依赖用户贡献的图片已经不够了，最省力的方法就是利用已有的图片生成相似的图片作为补充。这篇博客详细解读基于Stable Diffusion生成相似图片的原理和代码。

沉迷单车的追风少年 1394

深度学习原理42——一文彻底理解sigmoid和softmax的区别和输出通道维度的关系

1 模型的输出基本上分为3种情况，当然还有其它的： （1）分类：2分类，多分类，对应输出为一个预测向量，可以是1个，两个，多个 （2）目标检测：对应二维矩阵m*n,m行代表有m个目标，n列代表n个特征预测值，x,y,类别类型。 （3）语义分割： 2 二分类sigmoid 输出通道维度是1，用sigmoid 输出通道维度是2，用softmax 3 多分类 多分类用softmax，同时注意算不算背景，多分类考虑不考虑其它，语义分割考虑不考虑背景，考虑的话需要在类别的基础上加1，比如20+1 ...

xiaotiig的博客 1万+

1、 快速掌握R：初学者的计量经济学指南

本博文旨在为初学者提供一个快速掌握R语言的指南，特别是针对计量经济学领域的应用。内容涵盖了R的基本操作、数据管理、可视化、函数编写以及高级统计分析方法，如OLS回归、异方差修正和集群标准误差计算等。通过实际示例和详细说明，帮助读者在数据分析和科学研究中更加得心应手。

weixin_35734408的博客 151

损失函数一直不变_【知识星球】softmax损失相关的小问题

欢迎大家来到《知识星球》专栏，这里是AI1000问小专题。作者&编辑 | 言有三 1 Softmax相关的问题Softmax在图像分类，分割任务中是很常见的，关于它有些常见的小问题，供大家思考学习。有三AI1000问-机器学习篇为什么分类任务softmax损失输入是2通道，sigmoid损失是1通道想必大家都玩过图像分类了，为什么同样是2分类任务，softmax损失函数的输入是...

weixin_39531780的博客 875

VTK API 详解（134）：vtkOBJWriter - 写入 OBJ 模型

是 VTK 中用于将数据写入 Wavefront OBJ 文件格式的类。OBJ 格式是广泛支持的 3D 网格模型格式，支持顶点、面和基本几何信息的保存，便于模型在多种三维软件间交换。

yumeiguo的博客 140

数学向量空间的对偶空间解析

对偶空间是线性代数的"进阶语法"，它不仅深化了我们对向量空间的理解，还为解决实际问题提供了强大工具。用生活类比解释对偶空间的核心概念，打破"抽象数学"的壁垒；建立对偶空间与原向量空间的直观联系，揭示"对偶"的本质；通过数学推导和代码实现，让读者掌握对偶空间的基本运算；展示对偶空间在科学和工程中的应用，体现其理论价值。范围：本文从有限维实向量空间入手（便于理解），逐步扩展到对偶基、双对偶空间，最后简要提及无限维空间的特殊性。

AI天才研究院 880

GPT-4参数量与激活率真相：1.8万亿不是权重数，2%不是固定比例

大语言模型的‘参数量’是基础技术概念，但常被误读为静态权重总数；实际上在MoE（混合专家）架构中，它更准确地指可寻址参数空间——即模型设计时预留的最大能力容量。其核心原理在于动态路由机制：每个token仅激活部分专家子集，形成稀疏前向传播路径。这种设计带来显著技术价值——在保持超大规模表征能力的同时，控制单次计算开销。典型应用场景包括高精度问答、多跳推理和长上下文生成，但真实激活率（如所谓‘2% per token’）高度依赖输入类型、序列长度与路由策略，并非恒定指标。本文基于Azure部署数据、专家结构反

congtaixiao7151的博客 334

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面，电脑运行连游戏界面都一样大小，很怀旧，很真实，（英文版）强烈推荐，很小的文件，很难才找到的。

深度学习入门——softmax函数的改进

softmax函数的运算涉及到了指数函数的计算，故对于计算机而言就存在了一个 “溢出问题” 因为指数函数的增长容易变得非常大，这些超大值之间进行除法，结果会出现 nan（not a number 不确定） 计算机在进行数值运算时，数值的大小必须在4字节或者8字节的有效数据带宽内 故需要对softmax函数进行改进： 在分子分母同乘以C常数，结果不变。 故在softmax函数的指数运算中，加...

小杨的博客 2883

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料，已经经过了本人的筛选和整理，希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助！

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android：LinePhone3.2.7(最新版本)，官网地址：http://www.linphone.org/

softmax算法——处理分类问题

一 介绍softmax基本可以算是分类任务的标配。本篇介绍softmax是什么，以及softmax图解和举例。二 什么是softmax现实生活中需要对某一问题进行多种分类，例如对图片进行分类的例子，这时就需要使用softmax算法。softmax，就是如果判断输入属于某一个类的概率大于属于其他类的概率，那么这个类对应的值就逼近于1，其他类的值就逼近于0.该算法主要应用就是多分类，而且是互斥的，即只...

实践求真知 7881

NTscan扫描工具

ntscan是一个扫描器，可以扫描没有密码和弱密码的共享，先到配置文件中填写猜测的用户名和密码，扫描过程中右侧出现的是扫描日志。

【深度学习】softmax 注意事项

公式： 注意事项1： 0 值进行softmax后还应是0的问题： x = torch.tensor([[0,1],[2,3]]).type(dtype=torch.float32) x Out[92]: tensor([[0., 1.], [2., 3.]]) 对这个张量应用softmax 得到： Out[93]: tensor([[0.2689, 0.7311], [0.2689, 0.7311]]) 但我希望0 值softmax后应该是0啊。 改写： x = t

gaocui883的博客 734

Softmax vs. Softmax-Loss VS cross-entropy损失函数 Numerical Stability(转载)

http://freemind.pluskid.org/machine-learning/softmax-vs-softmax-loss-numerical-stability/ 卷积神经网络系列之softmax，softmax loss和cross entropy的讲解 我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连...

weixin_33937499的博客 1075

softmax类loss

本篇讲述softmax类loss。 softmax, 即在最后一层输出，利用exp映射到0-1的范围中。 σi(z)=ezi∑j=1mezi, \sigma_i(z) = \frac{e^{z_i}}{\sum_{j=1}^{m}e^{z_i}}, σi​(z)=∑j=1m​ezi​ezi​​, 可知每层结点输出值的总和为1, 可模拟概率分布输出。 下面讲述交叉熵, (cross-entropy)...

knightprin的博客 249

关于softmax稳定性问题

因为softmax中指数函数，很容易超出计算机表达的最大值，所以采用分子分母同时乘N的方法，N一般为最大值。 转载于:https://www.cnblogs.com/mdumpling/p/8094194.html...

weixin_30718391的博客 164

入门级都能看懂的softmax详解

1.softmax初探 在机器学习尤其是深度学习中，softmax是个非常常用而且比较重要的函数，尤其在多分类的场景中使用广泛。他把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1。 首先我们简单来看看softmax是什么意思。顾名思义，softmax由两个单词组成，其中一个是max。对于max我们都很熟悉，比如有两个变量a,b。如果a>b，则max为...

bitcarmanlee的博客 69万+

深度学习基础--SOFTMAX回归（单层神经网络）

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

小小城序员的博客 1603

softmax多分类问题中的几个问题

这个，在tenorflow 2.0 学习softmax多分类问题时遇到的几个问题，在这里和大家分享，包括损失函数的推导，还有数字编码和独热编码使用 不同 loss function 的区别和联系。 修仙炼丹时遇到的几个问题一 . 为什么用交叉熵loss function 而不用MSE（包含推导）?二 . categorical_crossentropy和sparse_categorical_crossentropy的区别 一 . 为什么用交叉熵loss function 而不用MSE（包含推导）? 原因之一

欢迎来到 豪哥 的博客 912
上一篇： 有三AI发布360页11万字深度学习CV算法工程师成长指导手册，可下载收藏打印，未完待续...
下一篇： 【NLP】TransformerXL：因为XL，所以更牛
点赞 0
评论 0
书签 书签 0
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3635粉丝 976原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值