[深度学习] Pytorch nn.CrossEntropyLoss()和nn.NLLLoss() 区别

最新推荐文章于 2025-07-21 17:04:44 发布

原创最新推荐文章于 2025-07-21 17:04:44 发布 · 7.3k 阅读

18 ·

CC 4.0 BY-SA版权

本文为摩登都市天空博主原创文章，未经博主允许不得转载。

文章标签：

#Pytorch

深度学习专栏收录该内容

75 篇文章

订阅专栏

本文详细解释了Softmax函数如何将实数向量转换为概率分布，并介绍了两种常用的损失函数：NLLLoss（负对数似然损失）和CrossEntropyLoss（交叉熵损失）。通过实例演示了这两种损失函数的计算过程。

函数 Softmax(x)

是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.

其定义如下.定义 x 是一个实数的向量(正数或负数都无所谓, 没有限制). 然后, 第i个 Softmax(x) 的组成是

输出是一个概率分布: 每个元素都是非负的, 并且所有元素的总和都是1.

NLLLoss(negative log likelihood loss)：最大似然 / log似然代价函数
CrossEntropyLoss: 交叉熵损失函数。交叉熵描述了两个概率分布之间的距离，当交叉熵越小说明二者之间越接近。\

Cross Entropy（也就是交叉熵）Loss:交叉熵损失函数,通常用于多分类,其中yi是one_hot标签,pi是softmax层的输出结果,交叉熵损失EE定义为:

Negative Log Liklihood(NLL) Loss:负对数似然损失函数,X是log_softmax()的输出,label是对应的标签位置

损失函数NLLLoss() 的输入是一个对数概率向量和一个目标标签,并对应位置相乘相加,最后再取负（也就是说，这里的Xlabel,,对于独热码来说，实际上就是取的X中，对应于label中为1的那个x）. 它不会为我们计算对数概率，适合最后一层是log_softmax()（log_softmax也就是对softmax的输出取对数）的网络. 损失函数 CrossEntropyLoss() 与 NLLLoss()类似, 唯一的不同是它为我们去做 softmax并取对数.可以理解为：

CrossEntropyLoss()=log_softmax() + NLLLoss()

CrossEntropyLoss()=log_softmax() + NLLLoss()

import torch
import torch.nn.functional as F

#output是神经网络最后的输出张量,b_y是标签(1hot)
loss1 = torch.nn.CrossEntropyLoss(output,b_y)
loss2 =F.nll_loss(F.log_softmax(output,1),b_y)
#loss1与loss2等效

import torch
import torch.nn as nn
import torch.nn.functional as F

data = torch.randn(2, 6)
print('data:', data, '\n')

log_soft = F.log_softmax(data, dim=1)
print('log_soft:', log_soft, '\n')

target = torch.tensor([1, 2])

entropy_out = F.cross_entropy(data, target)
nll_out = F.nll_loss(log_soft, target)

print('entropy_out:', entropy_out)
print('nll_out:', nll_out)