Pytorch中Softmax、Log_Softmax、NLLLoss以及CrossEntropyLoss的关系与区别详解

最新推荐文章于 2025-07-19 00:57:21 发布
原创 最新推荐文章于 2025-07-19 00:57:21 发布 · 2.6w 阅读 · 169 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #NLLLoss #CrossEntropyLoss #Softmax

最近看了一些Pytorch的代码，代码中使用了Log_Softmax方法，Loss函数使用了NLLLoss，作为深度学习新手，便上网查了一些资料，将相关知识总结记录以下。

本文主要参考了这篇文章，在此基础上加入了一些自己的理解。

Softmax

我们知道softmax激活函数的计算方式是对输入的每个元素值x求以自然常数e为底的指数，然后再分别除以他们的和，其计算公式如下：
S o f t m a x ( x i ) = e x p ( x i ) ∑ j e x p ( x j ) , . Softmax(x_i)=\frac{exp(x_i)}{\sum_{j}exp(x_j)},. Softmax(xi​)=∑

最低0.47元/天 解锁文章

200万优质内容无限畅学
PyTorch中的交叉熵函数 CrossEntropyLoss的计算过程
人工智能
04-29 1512
关于CrossEntropyLoss() 函数的计算过程可以拆解为如下四个步骤：1、对输出的结果进行操作,因为操作可以将所有输入值都归为[0,1]之间，且所有值之和为1，符合概率分布的特性。2、对结果进行log运算，求出都是小于0的值3、对真实概率值进行编码4、利用下面的公式求出最终的loss值CrossEntropyLossx−i1∑n​OneHottargeti​∗logsoftmaxinputi​。
[log_softmax]——深度学习中的一种激活函数
.
03-23 3600
具体来说，在模型训练过程中，[log_softmax]可以被当作是损失函数的一部分，用于计算预测值与真实值之间的距离。在深度学习中，我们需要将神经网络的输出转化为预测结果，而由于输出值并非总是代表着概率，因此我们需要使用激活函数将其转化为概率值。总结来说，[log_softmax]是深度学习中非常重要的一种激活函数，它通过运算将神经网络的输出值转化为概率值，进而用于模型训练和评估中。在深度学习中，激活函数是非常重要的组成部分之一，而[log_softmax]就是其中的一种。
Pytorch中易混淆的损失函数与激活函数【softmax, log_softmax, NLLLoss, CrossEntropy】
qq_43456497的博客
05-24 1893
softmax：将一个数值序列映射到概率空间（每个元素分布并且所有和为1）：在softmax的基础上取对数NLLLoss：对log_softmax与one-hot进行计算：衡量两个概率分布的差别（交叉熵）在分类问题中，CrossEntropy等价于log_softmax 结合 nll_loss。
【PyTorch】torch.nn.functional.log_softmax() 函数：计算 log(softmax)，用于多分类任务
彬彬侠的博客
03-14 1263
torch.nn.functional.log_softmax是PyTorch提供的用于计算log(softmax)的函数，通常用于多分类任务和计算交叉熵损失，可以提高数值稳定性并防止数值溢出。比softmax+log更稳定，更高效。在分类任务中，cross_entropy已包含log_softmax，无需额外计算。在强化学习、VAE等任务中，log_softmax也是常用的概率计算方法。
Pytorch之torch.log()语法、参数和实际应用案例
最新发布
王国平的博客
07-19 682
`torch.log()` 是 PyTorch 中用于计算自然对数（以 e 为底）的函数，对输入张量中的每个元素执行逐元素对数运算。其核心作用是将数据转换到对数空间，常用于概率模型、损失函数设计和数据预处理等场景。
pytorch中log_softmax的实现
热门推荐
说文科技，做有态度的研究。
12-18 1万+
pytorch中的log_softmax 是怎么实现的？让你以后不再担心函数实现。
Pytorch 计算Logsoftmax + NLLLoss + CrossEntropy
m0_51977577的博客
12-08 2299
logsoftmax + NLLLoss + CrossEntropy
cross entropy loss = log softmax + nll loss
blueblood7的专栏
06-07 458
cross entropy loss = log softmax + nll loss
torch.nn中NLLLoss与CrossEntropyLoss比较详解
m0_67146053的博客
01-11 1631
本篇文章中我们将详细比较torch.nn中两个损失函数类NLLLoss与CrossEntropyLoss，首先我们将介绍负对数似然和交叉熵，其次我们再介绍在Pytorch中两个类具体的执行计算方式。
基于MSELoss()与CrossEntropyLoss()的区别详解
09-18
需要注意的是，CrossEntropyLoss内部已经处理了softmax操作，因此在多分类任务中，网络的输出层不需要再进行softmax激活。 **实例分析：** 1. **CrossEntropyLoss示例**： 在二分类问题中，假设网络的最后层输出...
PyTorch详解NLLLoss + softmax和CrossEntropyLoss
alittlebai1的博客
05-11 811
1.softmax** 1.1作用 将得到的数据变为1的分布，使结果在0-1之间，方便评估和比较预测结果； 当我们通过模型 得到三个输出（O1=0.1 , O2 = 1,O3 = 10） 那么我们就选择最大为我们想要的结果。但是三个数字之间的差距太大，那么就用softmax将三个值归一化到0-1之间 2.softmax公式 例如上述的三个数，y1 = exp(0.1)/( exp(0.1) + exp(1) + exp(10) ) 剩下的以此类推。 在import torch.nn.functi.
torch.log_softmax(outputs, dim=1)
weixin_44012667的博客
11-16 1025
Log-Softmax 通常作为最后一层的输出，与负对数似然损失（Negative Log-Likelihood,每一行的 Log-Softmax 结果对应类别的对数概率，所有类别概率加总等于 1（在对数域中满足归一化）。在数值上，Log-Softmax 比单独计算 Softmax 再取对数更加稳定。指定在第 1 个维度（每个样本的类别维度）上计算 Log-Softmax。，代表一批数据对应的模型输出（未归一化的 logits 值）。对于每个样本，将类别得分归一化为对数概率，输出的张量仍是。
pytorch中编写代码实现Logsoftmax
qq_45952183的博客
11-23 1154
logsoftmax的torch代码实现与理论讲解，解决上下溢出问题。logsoftmax解决了softmax上溢问题。
log_softmax
jacke121的专栏
02-19 7153
参考：https://blog.youkuaiyun.com/qq_28418387/article/details/95918829 Pytorch中Softmax、Log_Softmax、NLLLoss以及CrossEntropyLoss的关系与区别详解 原创AI学渣 最后发布于2019-07-14 22:17:11 阅读数 683 收藏 展开 最近看了一些Pytorch的代码，代码中使用了Log_S.........
【总结】PyTorch多分类log_softmax、softmax的中文手册
江南蜡笔小新
04-01 4652
【总结】PyTorch多分类log_softmax、softmax的区别与联系 log_softmax、softmax在F和nn中存在，在此主要介绍nn 1.softmax torch.nn.functional.softmax (Python function, in torch.nn.functional) torch.nn.Softmax (Python class, in torch.n...
Log_Softmax()激活函数、NLLLoss()损失函数、CrossEntropyLoss()损失函数浅析
无
02-23 7399
Log_Softmax()激活函数、NLLLoss()损失函数、CrossEntropyLoss()损失函数 1. Log_Softmax()激活函数。 Softmax() 函数的值域是 [0,1][0, 1][0,1]，公式： σ(z)j=ezj∑k=1nezk\sigma(z)_j =\frac{e^{z_j}}{\sum_{k=1}^{n} {e^{z_k}}}σ(z)j​=∑k=1n​...
一文彻底搞懂深度学习:Softmax函数、Log-Softmax函数
老皮的博客
11-29 2883
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
torch.nn.functional.log_softmax 函数解析
qq_26545507的博客
11-18 2217
softmax 计算公式：log_softmax 计算公式：可见仅仅是将 softmax 最外层套上 log 函数。
Pytorch中Softmax和LogSoftmax
学无止境、积少成多、厚积薄发
09-24 2207
1.Softmax函数常用的用法是指定参数dim就可以： （1）dim=0：对每一列的所有元素进行softmax运算，并使得每一列所有元素和为1。 （2）dim=1：对每一行的所有元素进行softmax运算，并使得每一行所有元素和为1。 2.LogSoftmax其实就是对softmax的结果进行log，即Log(Softmax(x)) # -*- coding: utf-8 -*- """ Created on Thu Sep 24 14:05:17 2020 @author: zqq """ impo
NLLLoss和softmax详解
01-03
### NLLLoss 和 Softmax 的工作原理 #### 负对数似然损失 (NLLLoss) 负对数似然损失（Negative Log Likelihood Loss, NLLLoss）是一种常用于分类任务的损失函数。该损失函数衡量的是预测的概率分布与真实标签之间的差异。具体来说，对于一个多类别的分类问题，如果模型输出是一个概率分布向量 \( p \)，而真实的类别标签是独热编码形式的一维张量，则 NLLLoss 计算方式如下： \[ L(p,y) = -\log(p_y) \] 其中 \( y \) 是目标类别的索引位置[^1]。 ```python import torch.nn.functional as F output = torch.tensor([[-0.2798, -0.9358, 0.6607]]) target = torch.tensor([2]) loss = F.nll_loss(F.log_softmax(output, dim=1), target) print(loss.item()) ``` 此代码片段展示了如何使用 PyTorch 实现 NLLLoss 并结合 `log_softmax` 函数来处理输入数据。 #### Softmax 函数 Softmax 函数可以将任意实数值转换成一个表示概率分布的形式，即所有元素都介于 0 到 1 之间，并且总和等于 1。这使得它非常适合用来作为多分类问题的最后一层激活函数。给定一个长度为 K 的向量 z ，其对应的 softmax 输出 s 可以定义为: \[ s_i=\frac{e^{z_i}}{\sum_{j} e^{z_j}}, i∈[1,K]\] 这种变换不仅保留了原始得分的比例关系，还确保了最终得到的结果满足概率性质的要求。 ```python import numpy as np def softmax(x): """Compute the softmax of vector x.""" exp_x = np.exp(x - np.max(x)) return exp_x / exp_x.sum(axis=0) scores = [3.0, 1.0, 0.2] print(softmax(scores)) ``` 上述 Python 代码实现了简单的 softmax 函数计算过程。 ---
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值