Log_Softmax()激活函数、NLLLoss()损失函数、CrossEntropyLoss()损失函数浅析

最新推荐文章于 2024-11-29 19:51:13 发布

原创最新推荐文章于 2024-11-29 19:51:13 发布 · 7.3k 阅读

37 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #python #神经网络 #机器学习 #pytorch

三两闲事专栏收录该内容

26 篇文章

订阅专栏

本文详细介绍了PyTorch中的三种损失函数：Log_Softmax(), NLLLoss()和CrossEntropyLoss()。通过数学公式解释了每种函数的工作原理，并提供了实际代码示例，展示了如何使用这些函数进行神经网络训练。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Log_Softmax()激活函数、NLLLoss()损失函数、CrossEntropyLoss()损失函数

1. Log_Softmax()激活函数。

Softmax() 函数的值域是 $[0, 1]$ ，公式：
$σ(z)j=ezj∑k=1nezk\sigma(z)_j =\frac{e^{z_j}}{\sum_{k=1}^{n} {e^{z_k}}}$

Log_Softmax() 函数的值域是 $\infty, 0]$ ，公式：
$log_softmax=loge[σ(z)j]log\_softmax =log_e \left[\sigma(z)_j \right]$

2. NLLLoss()损失函数

NLLLoss() ，即负对数似然损失函数（Negative Log Likelihood）。
NLLLoss() 损失函数公式：
$nllloss=−1N∑k=1Nyk(log_softmax)nllloss =-\frac{1}{N} {\sum_{k=1}^{N} y_k \left(log\_softmax \right)}$

$y_k$ ：one_hot 编码之后的数据标签

NLLLoss() 损失函数运算的结果，即是 $y_k$ 与经过 $log\_softmax()$ 函数激活后的数据，两者相乘，再求平均值，最后取反。

实际使用NLLLoss()损失函数时，传入的标签，无需进行 one_hot 编码。

3. CrossEntropyLoss()损失函数

CrossEntropyLoss()损失函数，是将Log_Softmax()激活函数与NLLLoss()损失函数的功能综合在一起了。
$cross\_entropy = log\_softmax + nllloss$

传入的数据无需激活，标签无需做 one_hot 编码。

实际应用中，常选用NLLLoss()函数，如此可以控制数据的激活操作。

代码

代码运行之后，三种方式的运算结果是一致的。

import torch.nn.functional as F
import torch


# 手动实现 NLLLoss() 函数功能
data = torch.randn(5, 5)  # 随机生成一组数据
target = torch.tensor([0, 2, 4, 3, 1])  # 标签
one_hot = F.one_hot(target).float()  # 对标签作 one_hot 编码

exp = torch.exp(data)  # 以e为底作指数变换
sum = torch.sum(exp, dim=1).reshape(-1, 1)  # 按行求和
softmax = exp / sum  # 计算 softmax()
log_softmax = torch.log(softmax)  # 计算 log_softmax()
nllloss = -torch.sum(one_hot * log_softmax) / target.shape[0]  # 标签乘以激活后的数据，求平均值，取反
print("nllloss:", nllloss)


# 调用 NLLLoss() 函数计算
Log_Softmax = F.log_softmax(data, dim=1)  # log_softmax() 激活
Nllloss = F.nll_loss(Log_Softmax, target)  # 无需对标签作 one_hot 编码
print("Nllloss:", Nllloss)


# 直接使用交叉熵损失函数 CrossEntropy_Loss()
cross_entropy = F.cross_entropy(data, target)  # 无需对标签作 one_hot 编码
print('cross_entropy:', cross_entropy)