softmax和log_softmax，CrossEntropyLoss()和NLLLoss()

最新推荐文章于 2024-07-02 15:53:12 发布
原创 最新推荐文章于 2024-07-02 15:53:12 发布 · 3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Softmax函数及其变种log_softmax的工作原理，并详细解释了NLLLoss和CrossEntropyLoss两种常见损失函数的用法及区别。对于理解神经网络中最后一层的输出处理和损失计算非常有帮助。

1. Softmax：接收一个实数向量，返回一个概率分布。假设X是一个实数的向量(正数或者负数都可以)，然后第i个softmax(x)的组成是 

                                                                                 

log_softmax: 在softmax的结果上再做一次log运算，数学上等价于log(softmax(x))，但比这两个操作单独做快很多

2.NLLLoss的输入是一个对数概率向量和一个目标标签，自身不会计算对数概率

 经常用于网络的最后一层是log_softmax

nn.CrossEntroyLoss()与NLLLoss相同，不同的是交叉熵loss会计算softmax，用于多分类模型

NLL_Loss & CrossEntropyLoss（交叉熵）
Tabbyddd的博客
05-13 6515
EntropyLoss** 交叉熵损失函数。交叉熵描述了两个概率分布之间的距离，当交叉熵越小，说明二者之间越接近。 实际上，可以认为： CrossEntropyLoss = log_sofrmax + NLLLoss 在对图片进行分类时，通常会一次性输入n张图片，最后得出一个n*c的tensor，c是此次分类的类别数： 比如：n=10,c=2，表示一共10张图片，类别为2类 output = torch.tensor([[-2.8799, 1.1380], [ 0.4756, -0.277
NLLLOSS & CrossEntropyLoss
梁小憨憨的博客
09-17 1626
今天在看论文的时候，看到了NLLLOSS函数，嗯？这是个啥，然后就查了查，原来是跟CrossEntropyLoss一样的，这里整理一下，方便以后查阅。
CrossEntropyLoss与NLLLoss
weixin_37821353的博客
12-02 221
结论：CrossEntropyLoss = NLLLoss + LogSoftmax(dim=1) 验证： # -*- coding: utf-8 -*- # # @Version: python 3.7 # @File: test.py # @Author: ty # @E-mail: nwu_ty@163.com # @Time: 2020/12/2 # @Description: # @Input: # @Output: # import torch input = torch.randn(3
CrossEntropyLoss与nllloss
m0_72583254的博客
02-01 402
最大的区别是前者接收未softmax处理的数据，而后者接收已softmax处理的数据。torchvision.model里的模型一般未经过softmax处理，故只能搭配cross;如果要用到nllloss，自定义网络中一定要加一步softmax。CrossEntropyLoss中的reduce参数默认为mean，即求出一个batch的平均loss，返回为标量。
CrossEntropyLoss 和NLLLoss的关系
flying_ant2018的博客
03-14 337
【代码】CrossEntropyLoss 和NLLLoss的关系。
【PYG】数学上分析log_softmax+nll_loss=cross_entropy
Never Give Up
07-02 998
将模型输出转换为对数概率。nll_loss选择目标类别的对数概率，并取负值，得到损失值。因此，通过和nll_loss的组合，模型输出的三个数被转换为一个单一的损失值，用于优化模型。
Pytorch中Softmax、Log_Softmax、NLLLoss以及CrossEntropyLoss的关系与区别详解
热门推荐
NeilPy的博客
07-14 2万+
最近看了一些Pytorch的代码，代码中使用了Log_Softmax方法，Loss函数使用了NLLLoss，作为深度学习新手，便上网查了一些资料，将相关知识总结记录以下。 本文主要参考了这篇文章，在此基础上加入了一些自己的理解。 Softmax 我们知道softmax激活函数的计算方式是对输入的每个元素值x求以自然常数e为底的指数，然后再分别除以他们的和，其计算公式如下： Softmax(xi)=...
pytorch笔记：03)softmax和log_softmax，以及CrossEntropyLoss
Javis486的专栏
03-19 1万+
softmax在神经网络里面比较常见，简而言之，就是多分类的概率输出 sotfmax(xi)=exp(xi)∑jexp(xj)sotfmax(xi)=exp⁡(xi)∑jexp⁡(xj)sotfmax(x_i)=\frac{\exp(x_i)}{\sum_j \exp(x_j)} 但是在pytorch里面发现额外有个log_softmax(对softmax取了一个In的对数)，为啥这样做呢？ ...
【pytorch】Softmax，LogSoftmax，CrossEntropyLoss，NLLLoss，F.cross_entropy， F.binary_cross_entropy傻傻分不清楚？
x66ccff
01-13 1302
在实际应用中，如果发现模型训练过程中出现数值稳定性问题，或者需要加速训练过程，使用 LogSoftmax + NLLLoss 可能是一种较优的选择。在计算损失时，使用 NLLLoss 计算对数似然损失需要进行一次对数运算，而 CrossEntropyLoss 需要进行两次对数运算。在输入数值较大时，使用 Softmax 会导致溢出，而 LogSoftmax 则不会。而 LogSoftmax 之后，得到预测概率分布的对数。可以看到，这两种搭配方法计算的结果是一致的。，负对数似然损失就是将两个分布。
Pytorch中易混淆的损失函数与激活函数【softmax, log_softmax, NLLLoss, CrossEntropy】
qq_43456497的博客
05-24 1937
softmax：将一个数值序列映射到概率空间（每个元素分布并且所有和为1）：在softmax的基础上取对数NLLLoss：对log_softmax与one-hot进行计算：衡量两个概率分布的差别（交叉熵）在分类问题中，CrossEntropy等价于log_softmax 结合 nll_loss。
torch.nn中NLLLoss与CrossEntropyLoss比较详解
m0_67146053的博客
01-11 1699
本篇文章中我们将详细比较torch.nn中两个损失函数类NLLLoss与CrossEntropyLoss，首先我们将介绍负对数似然和交叉熵，其次我们再介绍在Pytorch中两个类具体的执行计算方式。
【损失函数】NLLLoss损失、CrossEntropy_Loss交叉熵损失以及Label Smoothing示例与代码
风巽·剑染春水的博客
10-30 2685
机缘巧合下，近期又详细学习了一遍各损失函数的计算，特此记录以便后续回顾。为了公式表示更加清晰，我们设yn​∈{1,2,…,K}为样本n的真实标签，v=(v1​,v2​,…vK​)为网络的输出，即样本n的预测结果，设N为一批样本的数目（即Batch size），K为分类任务的类别数目。
NLLLoss和CrossEntropyLoss的区别
思念殇千寻的博客
03-25 535
　　参考资料： 　　https://blog.csdn.net/qq_22210253/article/details/85229988
NLLLoss和CrossEntropyLoss的区别和联系
u010995990的博客
11-02 6447
NLLLoss NLLLoss的全称是Negative Log Likelihood Loss，也就是最大似然函数。 在图片进行单标签分类时，【注意NLLLoss和CrossEntropyLoss都是用于单标签分类，而BCELoss和BECWithLogitsLoss都是使用与多标签分类。这里的多标签是指一个样本对应多个label.】 假设输入m张图片，输出一个m*N的tensor,其中N是分类的个数，比如N为词表大小。比如，输入3张图片，分三类，最后的输出是一个3∗33*33∗3的tensor，举一个例子
交叉熵损失（Cross entropy loss） 与Nll_Loss之间的区别与联系
麦田里的守望者
11-28 2123
交叉熵损失 通过网络卷积或全卷积直接获取的结果即可参与计算交叉熵损失。 简单快捷，计算速度相对也快。 Nll_Loss Nll_Loss的计算前，卷积或者全卷积获取的结果需要通过softmax以及log函数的计算。 Nll_Loss做的事情主要是将输入数据取反，然后求均值。 ...
softmax()和log_softmax()、CrossEntropyLoss()和NLLLoss()对比分析
HUSTHY的博客
03-28 5932
softmax()和log_softmax()比较和分析
CrossEntropyLoss与NLLLoss的总结
街道口扛把子的博客
03-03 2万+
nll_loss(negative log likelihood loss)：最大似然 / log似然代价函数 CrossEntropyLoss: 交叉熵损失函数。交叉熵描述了两个概率分布之间的距离，当交叉熵越小说明二者之间越接近。 nn.CrossEntropyLoss() 与 NLLLoss() NLLLoss 的 输入 是一个对数概率向量和一个目标标签. 它不会为我们计算对数概率. 适合网络...
log_softmax与softmax
qq_43183860的博客
04-02 6490
Softmax Softmax是指数标准化函数，又称为归一化指数函数，将多个神经元的输出，映射到 (0,1) 范围内，并且归一化保证和为1，从而使得多分类的概率之和也刚好为1。其公式如下： Softmax⁡(zi)=exp⁡(zi)∑jexp⁡(zj)\operatorname{Softmax}\left(\boldsymbol{z}_{i}\right)=\frac{\exp \left(z_{i}\right)}{\sum_{j} \exp \left(z_{j}\right)}Softmax(zi..
F.cross_entropy、logsoftmax、nll_loss详解
weixin_40198079的博客
01-13 5159
F.cross_enropy的实际计算方法探索
f.nll_loss和cross_entropy
最新发布
03-25
### PyTorch 中 F.nll_loss 和 F.cross_entropy 的区别及使用场景 #### 1. 基本定义与功能 `F.nll_loss` 是一种用于分类任务的损失函数，它假设输入已经是 **对数概率形式**（即经过 `log_softmax` 处理后的值）。...
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值