关于softmax函数的理解

最新推荐文章于 2025-04-25 17:27:05 发布
原创 最新推荐文章于 2025-04-25 17:27:05 发布 · 492 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了softmax函数的性质，指出它将输出归一化到[0,1]区间，而log(softmax)则将值域压缩到[-1,0]。在损失函数中，通过引入负号，当预测概率为0时，log(softmax)变为正无穷，表示最差的预测情况。这一原理在模型训练中起到关键作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1）softmax输出一个比重 此比重取值与[0,1]
2）再镶入到log里面 这样log(softmax) 取值[-1,0]. 这里softmax数值越高 log(softmax) 数值越大. 换句话说就是我们的预测数值的比重越高 log(softmax) 就越接近0
3）由于这是个损失函数 我们不要负值 所以加个负号 这样如果我们的比重是0 那我们的log(softmax)就会变成正无穷，（即损失函数是最大值） 也就是最差预测

MysteriousL
关注
log_softmax
jacke121的专栏
02-19 7142
参考：https://blog.youkuaiyun.com/qq_28418387/article/details/95918829 Pytorch中Softmax、Log_Softmax、NLLLoss以及CrossEntropyLoss的关系与区别详解 原创AI学渣 最后发布于2019-07-14 22:17:11 阅读数 683 收藏 展开 最近看了一些Pytorch的代码，代码中使用了Log_S.........
Softmax数值不稳定问题
Shingle_的博客
08-24 4177
数值计算 上溢和下溢 计算机通过有限数量的位模式来表示无限多的实数，总会引入一些近似误差。如果涉及时没有考虑最小化舍入误差的累积，在实践时可能会导致算法实效。 下溢：当接近零的数被四舍五入为零时发生下溢。 许多函数在其参数为零而不是一个很小的正数时会表现出质的不同： 避免零除 避免取0的对数 上溢：大量级的数被近似为无穷时发生上溢。 必须对上溢和下溢进行数值稳定的一个例子...
softmax
weixin_43282288的博客
10-15 795
softmax是一个映射，将一个小的值映射为大的值，将大的值映射为非常大的值，将负值映射为非常小的值，比如有值3.2，5.1，-1.7就映射为e^3.2=24.5，以此类推，再除以总和归一化如24.5/(24.5+164.0+0.18)=0.13 以log衡量损失函数，x越接近1，预测越准确，损失值越接近0，记得加个负号。 ...
Softmax 函数的负版本（Negative Softmax）
Python领域优质萌新学习笔记
04-01 475
请注意，与标准 Softmax 类似，如果需要处理多个样本的情况，可以将输入张量的第一维设置为样本数量，然后在 softmax() 函数中指定 dim 参数为 1。这将对每个样本进行独立的 Negative Softmax 转换，并返回一个大小为 (batch_size, n) 的张量，其中每一行都是对应样本的概率分布。接下来，我们使用 PyTorch 中的 torch.nn.functional.softmax() 函数和 - 运算符来将其转换为 Negative Softmax，即 -x/tau。
解决pytorch 交叉熵损失输出为负数的问题
09-16
主要介绍了解决pytorch 交叉熵损失输出为负数的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
一分钟理解softmax函数（超简单）
热门推荐
L.Z.的博客
11-28 39万+
做过多分类任务的同学一定都知道softmax函数。softmax函数，又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法： 下面为大家解释一下为什么softmax是这种形式。 首先，我们知道概率有两个性质：1）预测的概率为非负数；2）各种预测结果概率之和等于1。 softmax就是将在负无穷到正无...
Softmax 函数
最新发布
Rhett_Butler0922的博客
04-25 809
Softmax 函数是一种归一化指数函数（Normalized Exponential Function），通常用于将一组实数（通常是模型的原始输出，称为logits）转换为一个概率分布。输出值在01[0, 1]01范围内，且所有输出值的和为 1。σziezi∑j1nezjσzi​∑j1n​ezj​ezi​​Softmax 是一个将 logits 转换为概率分布的函数，广泛用于多分类任务。
Softmax函数原理及Python实现过程解析
09-16
Softmax函数是机器学习和深度学习领域中一种重要的激活函数，尤其在多分类问题中扮演着关键角色。它能够将一组实数值转化为概率分布，确保每个类别的概率和为1，使得模型的输出更加符合实际场景的需求。 ## Softmax...
深入理解与实践：Softmax函数在机器学习中的应用
xyaixy的博客
11-21 1724
本文深入探讨了Softmax函数的概念、原理及其在多分类任务、注意力机制和强化学习等领域的实际应用。从基础的数学定义出发，结合手写实现和PyTorch代码，详细说明了Softmax与交叉熵损失的结合及其数值稳定性优化方法。此外，通过一个文本分类的实战案例，展示了Softmax在构建简单分类器中的重要作用。最后，总结了Softmax的优化技巧和实际项目中的使用经验，为开发者提供理论与实践的全面指导。
关于SoftMax函数的一些介绍
三石的后花园
10-04 1万+
前言 SoftMax函数是在机器学习中经常出现的，时常出现在输出层中。对于这个函数，大部分blog作者对于它介绍已经很完善了，包括如何玄学设计，如何使用等等，这里只是从数学来源上讨论下这个函数名字的来历，或者说数学的来源，为什么叫做Soft Max（有没有Hard Max）等等。 1.Soft Max的形式 Soft Max 函数，全名Soft Maximum函数。其形式为σ(z)j=ezjΣk=...
Softmax和LogSoftmax（使用过程中的记录）
绿箭薄荷的博客
11-03 5659
Softmax函数常用的用法是指定参数dim （1）dim=0：对每一列的所有元素进行softmax运算，并使得每一列所有元素和为1。 （2）dim=1：对每一行的所有元素进行softmax运算，并使得每一行所有元素和为1。 LogSoftmax 对softmax的结果进行log，即Log(Softmax(x)) ...
softmax输出向量的计算过程以及log_softmax的优势
吉米_王
05-21 2847
说明：本文部分文本参考知乎博主chuang的一篇文章 softmax 计算过程如图所示： logsoftmax 而logsoftmax无非是在softmax的结果至上进行log操作，即log（yi），输出结果均为负数； 值域范围在（0， 1）之间如图所示：（随便画的有点丑） 重点： log_softmax能够解决函数overflow和underflow，加快运算速度，提高数据稳定性。 如上图所示： softmax会进行指数操作，当上一层的输出，也就是softmax的输入.
神经网络图文检索模型预测代码学习总结（一）
qq_52648919的博客
08-01 762
本文主要总结神经网络图文检索部分语义对齐模型的代码，主要用于记录笔者的学习过程，如有不准确之处，欢迎各路大神指出！谢谢！
tf的softmax交叉熵计算中的logits的含义
qq314000558的专栏
09-06 9843
tf.nn.softmax_cross_entropy_with_logits函数是TensorFlow中常用的求交叉熵的函数。其中函数名中的“logits”是个什么意思呢？它时不时地困惑初学者，下面我们就讨论一下。   tf.nn.softmax_cross_entropy_with_logits( _sentinel=None, labels=None, ...
【研一小白白话理解】各种小知识
weixin_46235765的博客
12-13 3304
知识蒸馏 softmax的输出一定是正数，且每个元素和加起来为1。而llog_softmax全部都是负数。 交叉熵=熵+相对熵(KL散度) 蒸馏：通过温度T将softmax激活函数变得更加平滑，从而软标签通过蒸馏得到暗知识。本质上就是修改损失函数。 经过softmax才能叫做软标签的概率分布。经过了softmax才能null_loss，没经过softmax就直接交叉熵就行。 NLLLoss（log_softmax）==交叉熵 假如没有老师模型，单独训练学生模型的话，没办法只能拿硬标签去训练学生模型，会得到硬
softmax代价函数的导数计算
Cheese_pop的博客
04-27 9650
对于softmax的理解请参考Ufldl教程，本文仅对代价函数求导部分进行推导softmax regression 代价函数： J(θ)=−1m⎡⎣∑i=1m∑j=1k1{y(i)=j}logeθTjx(i)∑kl=1eθTjx(i)⎤⎦ J(\theta)=-\frac{1}{m}\left[\sum_{i=1}^m\sum_{j=1}^k1\{y^\mathit{(i)}=j\}log\fra
【深度学习笔记（二）】之Softmax分类器
开发小鸽
07-16 5406
一. Softmax分类器        用SVM损失函数得出的只是一个个的分数，还要通过对比分数来分类。那么，如果直接输出结果为分类的概率，岂不是更好？        这里，给出了softmax分类器，直接输出分类的概率。 二．Sigmoid函数        由于概率是在【0，1】之间，这时就需要引入sigmoid函数      
使用PyTorch时，最常见的4个错误
j_starry的博客
07-16 325
作者：Yuval Greenfield 编译：ronghuaiyang 原文链接：https://mp.weixin.qq.com/s/b006DTdU6oAeeixM_Q_2Rg 导读 最常见的神经网络错误：1)你没有首先尝试过拟合单个batch。2)你忘了为网络设置train/eval模式。3)在.backward()之前忘记了.zero_grad()(在pytorch中)。4)将softmaxed输出传递给了期望原始logits的损失，还有其他吗？ 这篇文章将逐点分析这些错误是如何在PyTorc
关于pytorch nn.KLDivLoss()损失计算loss值为负数的原因
L888666Q的博客
08-15 6262
KL散度，又叫相对熵，用于衡量两个分布（离散分布和连续分布）之间的距离。
UFLDL softmax函数实现详解与练习
在UFLDL教程中关于softmax的练习，会指导用户如何实现softmax函数，并通过实际的例子加深对这个函数的理解。在这样的练习中，用户可能会学习如何从理论到实践，编写代码来计算softmax函数的值，并且可能还会学习如何...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值