[深度学习] Pytorch nn.CrossEntropyLoss()和nn.NLLLoss() 区别

最新推荐文章于 2023-11-05 20:57:24 发布
转载 最新推荐文章于 2023-11-05 20:57:24 发布 · 782 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://zengwenqi.blog.youkuaiyun.com/article/details/96282788

本文深入探讨了PyTorch中NLLLoss与CrossEntropyLoss两种损失函数的使用场景与区别。通过实例说明了NLLLoss适用于logsoftmax处理后的数据，而CrossEntropyLoss直接用于原始输出数据。对比了两种函数在预测与目标值匹配过程中的梯度求导与更新机制。

 

nn.NLLLoss()的参数是经过logsoftmax加工的，而CrossEntropyLoss的是原始输出数据

  1. target = torch.tensor([1, 2])

  2. entropy_out = F.cross_entropy(data, target)

  3. nll_out = F.nll_loss(log_soft, target)

  4. 注意这里的代价函数的特点，无论是采用cross_entropy 还是nll_loss，预测结果与目标值都看起来是两路数据。但是并不影响梯度求导更新过程，最终调整成预测与target目标函数越来越接近

https://zengwenqi.blog.youkuaiyun.com/article/details/96282788

深度学习loss总结：nn.CrossEntropyLoss,nn.MSELoss,Focal_Loss,nn.KLDivLoss等
@bangbang的博客
11-19 1289
交叉熵主要是用来判定实际的输出与期望的输出的接近程度，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出(target)，概率分布q为实际输出(pred),HpqH(p,q)HpqPytorch中的CrossEntropyLoss()函数而是交叉熵的另外一种方式计算得到的：Pytorch中函数的主要是将和NLLLoss最小化负对数似然函数）合并到一块得到的结果(1)首先对预测值pred进行softmax计算：其中softmax。
Pytorch实用教程：nn.CrossEntropyLoss()的用法
若北辰
04-19 1260
在 PyTorch 中，是一个非常常用且功能强大的损失函数，特别适合用于多类分类问题。这个损失函数结合了和(Negative Log Likelihood Loss) 两个操作，从而在一个模块中提供完整的交叉熵损失计算功能。这不仅方便使用，也提高了数值稳定性。
nn.CrossEntropyLoss() 与 NLLLoss()区别与联系
yimenren的博客
10-05 284
nn.CrossEntropyLoss() 与 NLLLoss() NLLLoss 的 输入 是一个对数概率向量和一个目标标签. 它不会为我们计算对数概率. 适合网络的最后一层是log_softmax. 损失函数 nn.CrossEntropyLoss() 与 NLLLoss() 相同, 唯一的不同是它为我们去做 softmax. CrossEntropyLoss()=log_softmax() + NLLLoss() 参考链接： (3条消息) CrossEntropyLoss与NLLLoss的总.
PyTorch踩坑指南（2）损失函数nn.NLLLoss()和nn.CrossEntropyLoss()
白水煮蝎子
06-25 3345
前言 深度学习模型优化，即优化网络权值使得该模型拟合数据的能力达到最优，而最优的一个标准是损失函数较小（兼顾训练数据和测试数据，以及实际应用场景的最优）。PyTorch中有很多损失函数，这里我主要介绍最常用的两种，NLLLoss和CrossEntropyLoss；而实际上CrossEntropyLoss更常用，NLLLoss与其的关系也会在本文中详细介绍。 Softmax 要介绍上述两个损失函数的关系，得先从Softmax说起。Softmax函数是一个非线性转换函数，通常用在网络输出的最后一层，Softma
pytorch中F.cross_entropy和F.nll_loss的区别
code_plus的博客
04-07 1万+
搞懂函数的区别的最好方法就是产看函数的底层实现。 首先可以在pytorch中分别点击进入函数内部，看他们的具体实现。 1、F.cross_entropy的内部实现是： 并且cross_entropy函数的返回值是： 2、F.nll_loss的内部实现是： 3、结论 这里先上结论。这两种损失的区别在于input上的操作，对于cross_entropy来说，他首先会对input进行log_softmax操作，然后再将log_softmax(input)的结果送入nll_loss；而nll_loss的inpu
torch.nn.NLLLoss()与torch.nn.CrossEntropyLoss()
我是天才很好
02-01 4054
torch.nn.NLLLoss() class torch.nn.NLLLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean') 计算公式：loss(input, class) = -input[class] 公式理解：input = [-0.1187, 0.2110, 0.7463]，target = [1]，那么 loss = -0.2110。 个人理解：感觉像是把 target 转
CrossEntropyLoss 和 cross_entropy
咖乐部
10-11 3695
在使用Pytorch时经常碰见这些函数cross_entropy，CrossEntropyLoss, log_softmax, softmax。看得我头大，所以整理本文以备日后查阅。 首先要知道上面提到的这些函数一部分是来自于torch.nn,而另一部分则来自于torch.nn.functional(常缩写为F）。二者函数的区别可参见知乎:torch.nn和funtional函数区别是什么？ 下面是对与cross entropy有关的函数做的总结： torch.nn torch.nn.fu..
PyTorch之torch.nn.CrossEntropyLoss()
qq_34600424的博客
01-18 2422
简介 信息熵： 按照真实分布p来衡量识别一个样本所需的编码长度的期望，即平均编码长度 交叉熵： 使用拟合分布q来表示来自真实分布p的编码长度的期望，即平均编码长度 多分类任务中的交叉熵损失函数 代码 1）导入包 import torch import torch.nn as nn 2）准备数据 在图片单标签分类时，输入m张图片，输出一个mN的Tensor，其中N是分类个数。比如输入3张图片，分三类，最后的输出是一个33的Tensor，举个例子： x_input=torch.randn(3..
pytorch中的nn.CrossEntropyLoss()损失
jhsignal的博客
06-02 1933
在使用pytorch深度学习框架，计算分类损失时经常会遇到这么一个函数nn.CrossEntropyLoss()，该损失函数结合了nn.LogSoftmax()和nn.NLLLoss()两个函数。它在做分类（具体几类）训练的时候是非常有用的，如下我将对该函数的原理使用代码和实例进行分析。      首先输入是size是(minibatch,C)。这里的C是类别数。损失函数的计算如下： 损失函数中也有权重weight参数设置，若设置权重，则公式为： 注意这里的标签值class，并不参与直接计算，而是作为一
torch.nn.CrossEntropyLoss用法(原理, nlp, cv例子)
andy dennis的博客
01-15 1万+
前言 早上想花一个小时参照网上其他教程，修改模型结构，写一个手写识别数字的出来，结果卡在了这个上面，loss一直降不下来，然后我就去查看了一下CrossEntropyLoss的用法，毕竟分类问题一般都用这个。 代码 引入一个库: import torch 假如是一个四分类任务，batch为2(只是为了显示简单，举个例子罢了) logists = torch.randn(2, 4, requires_grad=True) print(logists) 其实根据这个模型预测出来就是, 第一个样本预测
Pytorch损失函数torch.nn.NLLLoss()详解
热门推荐
Jeremy_lf的博客
10-24 6万+
在各种深度学习框架中，我们最常用的损失函数就是交叉熵（torch.nn.CrossEntropyLoss），熵是用来描述一个系统的混乱程度,通过交叉熵我们就能够确定预测数据与真是数据之间的相近程度。交叉熵越小，表示数据越接近真实样本。 交叉熵计算公式： 就是我们预测的概率的对数与标签的乘积，当qk->1的时候，它的损失接近零。 nn.NLLLoss 官方文档中介绍称： nn.NLLLoss...
PyTorch学习笔记（2）--损失CrossEntropyLoss()与cross_entropy()
m0_61385981的博客
04-14 1598
损失CrossEntropyLoss()与cross_entropy()
深度学习中交叉熵损失函数（cross_entropy）和交叉熵损失层（CrossEntropyLoss()）的区别
AI_dataloads的博客
11-05 1941
选择使用哪种方法取决于您的需求和代码结构。如果您希望更加方便地构建深度学习模型并进行训练，通常会选择。如果您需要更大的灵活性或在特殊情况下手动处理损失，那么可能更适合。
pytorch中交叉熵损失函数的细节
Mr_health的博客
02-10 7948
1. 一般分类任务实现：二分类 在二分类中，pytorch主要可以应用的损失函数分为以下四个： F.cross_entropy()与torch.nn.CrossEntropyLoss() F.binary_cross_entropy()与torch.nn.BCELoss() 之所以将四个函数分成两类，是因为： 前者输入是非onehot label + logit，函数会自动将logit通过softmax映射为概率 后者输入的是onehot label + prob（概率，一般是经过softmax后
nn.CrossEntropyLoss与F.nll_loss
YJYS_ZHX的博客
01-11 8102
F.nll_loss计算方式是下式，在函数内部不含有提前使用softmax转化的部分； nn.CrossEntropyLoss内部先将输出使用softmax方式转化为概率的形式，后使用F.nll_loss函数计算交叉熵。 也就是： CrossEntropyLoss()=log_softmax() + NLLLoss() 注意： 两个函数的输入分别是input和target， input是网络预测的输出，形状为(batch_size, pro)，其中pro为class的个数； target是标签，不
torch Loss函数（常用）
qq_43314342的博客
01-02 1936
1.cross_entropy F.cross_entropy 函数对应的类是torch.nn.CrossEntropyLoss，在使用时会自动添加logsoftmax然后计算loss（其实就是nn.LogSoftmax() 和nn.NLLLoss() 类的融合） 该函数用于计算多分类问题的交叉熵loss。 2.binary_cross_entropy_with_logits F.binary_cross_entropy_with_logits()对应的类是torch.nn.BCEWithLogits.
交叉熵损失CrossEntropyLoss
Gefangenes的博客
06-03 1万+
这两种方法哪一个更好？
【pytorch损失函数之nn.CrossEntropyLoss（）、nn.NLLLoss（）】
2d3d图像算法 halcon\opencv\c++\pcl\vtk\coluldcompare工具 程序员 学习者
05-03 1936
文章目录一、前言二、理论三、项目 一、前言 nn.CrossEntropyLoss()这个损失函数⽤于多分类问题虽然说的是交叉熵。 nn.CrossEntropyLoss()是nn.logSoftmax()和nn.NLLLoss()的整合,可以直接使⽤它来替换⽹络中的这两个操作。 二、理论 ⾸先输⼊是size是(minibatch,C)。这⾥的C是类别数。损失函数的计算如下： 损失函数中也有权重weight参数设置 若设置权重，则公式为： 其他参数不具体说，和设置差不多，默认情况下，对minibat
nn.CrossEntropyLoss内部计算
最新发布
07-24
### 交叉熵损失函数的计算原理 在深度学习中，`nn.CrossEntropyLoss()` 是 PyTorch 提供的一个常用损失函数，用于多分类任务。其计算过程结合了 `nn.LogSoftmax()` 和 `nn.NLLLoss()` 两个函数。输入张量的形状通常为 `(minibatch, C)`，其中 `C` 表示类别数。损失函数的计算公式如下： $$ \text{Loss}(x, y) = -\log\left(\frac{\exp(x_y)}{\sum_{c=1}^{C} \exp(x_c)}\right) $$ 其中 $ x $ 是模型的输出（logits），$ y $ 是标签值。标签值并不直接参与计算，而是作为索引，用于选择对应类别的输出值。若设置了权重参数 `weight`，则损失值会根据权重进行调整 [^2]。 ### 使用代码示例 以下是一个简单的代码示例，展示了 `nn.CrossEntropyLoss()` 的使用方法： ```python import torch import torch.nn as nn # 假设输入张量的形状为 (minibatch, C)，C 是类别数 logits = torch.tensor([[2.0, 1.0, 0.1], [1.0, 2.0, 0.1]], dtype=torch.float32) # 标签张量的形状为 (minibatch)，每个元素的值是类别索引 labels = torch.tensor([0, 1], dtype=torch.long) # 初始化交叉熵损失函数 criterion = nn.CrossEntropyLoss() # 计算损失 loss = criterion(logits, labels) # 输出损失值 print("交叉熵损失：", loss.item()) ``` ### 忽略特定标签值 在某些情况下，可能需要忽略某些标签值，例如无效标签或填充标签。`nn.CrossEntropyLoss()` 提供了 `ignore_index` 参数，用于指定需要忽略的标签值。在计算损失时，这些标签值不会被纳入计算。以下是一个示例： ```python import torch import torch.nn.functional as F # 模型预测输出 pred = torch.tensor([[0.9, 0.1], [0.8, 0.2]], dtype=torch.float32) # 标签张量，其中 -1 表示不参与损失计算 label = torch.tensor([[1], [-1]], dtype=torch.long) # 计算交叉熵损失，并忽略标签值 -1 loss = F.cross_entropy(pred.view(-1, 2), label.view(-1), ignore_index=-1) # 输出损失值 print("忽略特定标签值的交叉熵损失：", loss.item()) ``` 在上述示例中，`ignore_index=-1` 表示在计算损失时，标签值为 `-1` 的样本不会被纳入计算。同时，计算平均损失时，只会考虑实际参与计算的样本数 [^3]。 ### 总结 `nn.CrossEntropyLoss()` 是一个非常高效的损失函数，适用于多分类任务。其计算过程结合了 `nn.LogSoftmax()` 和 `nn.NLLLoss()`，能够直接处理模型的输出和标签值。通过设置 `weight` 和 `ignore_index` 参数，可以灵活地调整损失计算方式，适应不同的任务需求 。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值