关于softmax函数的理解

最新推荐文章于 2025-04-25 17:27:05 发布
原创 最新推荐文章于 2025-04-25 17:27:05 发布 · 513 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了softmax函数的性质，指出它将输出归一化到[0,1]区间，而log(softmax)则将值域压缩到[-1,0]。在损失函数中，通过引入负号，当预测概率为0时，log(softmax)变为正无穷，表示最差的预测情况。这一原理在模型训练中起到关键作用。

1）softmax输出一个比重 此比重取值与[0,1]
2）再镶入到log里面 这样log(softmax) 取值[-1,0]. 这里softmax数值越高 log(softmax) 数值越大. 换句话说就是我们的预测数值的比重越高 log(softmax) 就越接近0
3）由于这是个损失函数 我们不要负值 所以加个负号 这样如果我们的比重是0 那我们的log(softmax)就会变成正无穷，（即损失函数是最大值） 也就是最差预测

MysteriousL
关注
log_softmax
jacke121的专栏
02-19 7181
参考：https://blog.youkuaiyun.com/qq_28418387/article/details/95918829 Pytorch中Softmax、Log_Softmax、NLLLoss以及CrossEntropyLoss的关系与区别详解 原创AI学渣 最后发布于2019-07-14 22:17:11 阅读数 683 收藏 展开 最近看了一些Pytorch的代码，代码中使用了Log_S.........
一分钟理解softmax函数（超简单）
热门推荐
L.Z.的博客
11-28 39万+
做过多分类任务的同学一定都知道softmax函数。softmax函数，又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法： 下面为大家解释一下为什么softmax是这种形式。 首先，我们知道概率有两个性质：1）预测的概率为非负数；2）各种预测结果概率之和等于1。 softmax就是将在负无穷到正无...
详解：softmax函数
weixin_44653983的博客
09-11 213
一分钟让你了解softmax的
理解softmax函数
atarik@163.com
06-11 611
softmax函数，又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法： 我们知道指数函数的值域取值范围是零到正无穷。与概率取值相似的地方是它们都是非负实数。那么我们可以利用指数函数将多分类结果映射到零到正无穷。然后进行归一化处理，便得到了近似的概率。 总结一下softmax如何将多分类输出转...
softmax详解
modi000的博客
01-16 3726
batch的大小为3，经过softmax回归输出的结果是一个3×3的二维矩阵，根据交差熵的公式，应该将每行的结果相加得到3个输入样本的的交差熵，然后在对3行取平均得到这个batch的平均交差熵。常用的方法是使用交差熵(cross entropy)，它的计算值表征两个概率分布之间的距离，它是分类问题中使用比较广的损失函数。这里的softmax可以看做一个激励【activation】函数或者链接【link】函数，把我们定义的线性函数的输出转化成我们想要的格式，也就是关于10个数字类别的概率分布。
softmax
weixin_43282288的博客
10-15 811
softmax是一个映射，将一个小的值映射为大的值，将大的值映射为非常大的值，将负值映射为非常小的值，比如有值3.2，5.1，-1.7就映射为e^3.2=24.5，以此类推，再除以总和归一化如24.5/(24.5+164.0+0.18)=0.13 以log衡量损失函数，x越接近1，预测越准确，损失值越接近0，记得加个负号。 ...
Softmax函数原理及Python实现过程解析
09-16
Softmax函数是机器学习和深度学习领域中一种重要的激活函数，尤其在多分类问题中扮演着关键角色。它能够将一组实数值转化为概率分布，确保每个类别的概率和为1，使得模型的输出更加符合实际场景的需求。 ## Softmax...
Softmax 函数
最新发布
Rhett_Butler0922的博客
04-25 1118
Softmax 函数是一种归一化指数函数（Normalized Exponential Function），通常用于将一组实数（通常是模型的原始输出，称为logits）转换为一个概率分布。输出值在01[0, 1]01范围内，且所有输出值的和为 1。σziezi∑j1nezjσzi​∑j1n​ezj​ezi​​Softmax 是一个将 logits 转换为概率分布的函数，广泛用于多分类任务。
深入理解Softmax函数及其在PyTorch中的实现
fydw_715的博客
04-11 1455
Softmax函数在机器学习和深度学习中，被广泛用于多分类问题的输出层。它将一个实数向量转换为概率分布，使得每个元素介于0和1之间，且所有元素之和为1。
深入理解与实践：Softmax函数在机器学习中的应用
xyaixy的博客
11-21 2090
本文深入探讨了Softmax函数的概念、原理及其在多分类任务、注意力机制和强化学习等领域的实际应用。从基础的数学定义出发，结合手写实现和PyTorch代码，详细说明了Softmax与交叉熵损失的结合及其数值稳定性优化方法。此外，通过一个文本分类的实战案例，展示了Softmax在构建简单分类器中的重要作用。最后，总结了Softmax的优化技巧和实际项目中的使用经验，为开发者提供理论与实践的全面指导。
解决pytorch 交叉熵损失输出为负数的问题
09-16
主要介绍了解决pytorch 交叉熵损失输出为负数的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Softmax 函数的负版本（Negative Softmax）
Python领域优质萌新学习笔记
04-01 522
请注意，与标准 Softmax 类似，如果需要处理多个样本的情况，可以将输入张量的第一维设置为样本数量，然后在 softmax() 函数中指定 dim 参数为 1。这将对每个样本进行独立的 Negative Softmax 转换，并返回一个大小为 (batch_size, n) 的张量，其中每一行都是对应样本的概率分布。接下来，我们使用 PyTorch 中的 torch.nn.functional.softmax() 函数和 - 运算符来将其转换为 Negative Softmax，即 -x/tau。
softmax函数的计算方法
m0_71334725的博客
09-24 605
它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。为了确保各个预测结果的概率之和等于1。方法就是将转化后的结果除以所有转化后结果之和，可以理解为转化后结果占总数的百分比。下图为y=exp(x）的图像，我们可以知道指数函数的值域取值范围是零到正无穷。softmax第一步就是将模型的预测结果转化到指数函数上，这样保证了概率的非负性。首先，我们知道概率有两个性质：1）预测的概率为非负数；softmax就是将在负无穷到正无穷上的预测结果按照这两步转换为概率的。
Softmax数值不稳定问题
Shingle_的博客
08-24 4207
数值计算 上溢和下溢 计算机通过有限数量的位模式来表示无限多的实数，总会引入一些近似误差。如果涉及时没有考虑最小化舍入误差的累积，在实践时可能会导致算法实效。 下溢：当接近零的数被四舍五入为零时发生下溢。 许多函数在其参数为零而不是一个很小的正数时会表现出质的不同： 避免零除 避免取0的对数 上溢：大量级的数被近似为无穷时发生上溢。 必须对上溢和下溢进行数值稳定的一个例子...
Softmax和LogSoftmax（使用过程中的记录）
绿箭薄荷的博客
11-03 5693
Softmax函数常用的用法是指定参数dim （1）dim=0：对每一列的所有元素进行softmax运算，并使得每一列所有元素和为1。 （2）dim=1：对每一行的所有元素进行softmax运算，并使得每一行所有元素和为1。 LogSoftmax 对softmax的结果进行log，即Log(Softmax(x)) ...
softmax函数
zhangt766的博客
06-25 3万+
softmax函数，又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法： 为什么softmax是这种形式？首先，我们知道概率有两个性质：1）预测的概率为非负数；2）各种预测结果概率之和等于1。softmax就是将在负无穷到正无穷上的预测结果按照这两步转换为概率的。1）将预测结果转化为非负数我们可以知道指数函数的值域取值范围是零到正无穷。softmax第一步就是将模型的预测结果转化到指数函数上，这样保证了概率的非负性。
【深度学习】Softmax 函数
JNing
02-01 1万+
【深度学习】Softmax 函数
softmax输出向量的计算过程以及log_softmax的优势
吉米_王
05-21 2950
说明：本文部分文本参考知乎博主chuang的一篇文章 softmax 计算过程如图所示： logsoftmax 而logsoftmax无非是在softmax的结果至上进行log操作，即log（yi），输出结果均为负数； 值域范围在（0， 1）之间如图所示：（随便画的有点丑） 重点： log_softmax能够解决函数overflow和underflow，加快运算速度，提高数据稳定性。 如上图所示： softmax会进行指数操作，当上一层的输出，也就是softmax的输入.
神经网络图文检索模型预测代码学习总结（一）
qq_52648919的博客
08-01 791
本文主要总结神经网络图文检索部分语义对齐模型的代码，主要用于记录笔者的学习过程，如有不准确之处，欢迎各路大神指出！谢谢！
softmax函数图解
03-25
### Softmax函数的工作原理 Softmax函数是一种归一化的指数函数，其主要作用是将一组实数值转换为概率分布形式。具体来说，给定一个向量 \( z = [z_1, z_2, ..., z_n] \)，Softmax函数会将其映射到一个新的向量 \( p = [p_1, p_2, ..., p_n] \)，使得每个元素都位于(0, 1)范围内，并且所有元素之和等于1。 #### 数学表达式 Softmax函数的定义如下： \[ S(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{n} e^{z_j}} \] 其中： - \( z_i \) 是输入向量中的某个元素； - \( S(z_i) \) 表示该元素对应的输出值； - 所有输出值满足条件：\( \sum_{i=1}^{n} S(z_i) = 1 \)[^1]。 通过引入指数运算，Softmax能够放大较大值的影响并缩小较小值的作用，从而提高模型对于显著特征的学习能力[^2]。 --- ### 图形化解释 为了更好地理解Softmax函数的行为模式，可以通过绘制二维平面上的例子来展示其效果。假设我们有两个类别的得分分别为\[a,b]\],则应用softmax后的结果可以表示成: 设初始得分为 a 和 b，则 softmax 输出的概率可由下面公式得出： ```python import numpy as np def softmax(scores): exp_scores = np.exp(scores) return exp_scores / np.sum(exp_scores) scores = np.array([3.0, 1.0]) probs = softmax(scores) print(probs) ``` 上述代码片段演示了一个简单的例子，在这个场景里，两个类别分别获得了不同的评分。当执行完这段程序之后可以看到第一个类别的可能性远高于第二个类别因为它的原始评价值较高[^4]。 如果把这样的过程扩展至三维空间或者更多维度上来看待的话，实际上就是每一个坐标轴代表一类标签的可能性大小；而最终形成的点的位置即反映了各类别间相对强弱关系的一个直观体现方式之一——这就是为什么说它可以用来解决多分类问题的原因所在了！ --- ### 总结 综上所述，Softmax不仅实现了对数据的有效转化使其适合作为目标检测任务下的置信度衡量标准，而且还能增强算法区分不同样本的能力。因此，在实际操作过程中经常会被选用作为最后一层网络结构的一部分来进行处理分析工作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值