pytorch方法测试——损失函数（CrossEntropyLoss）

最新推荐文章于 2023-03-23 15:42:54 发布

c2a2o2

最新推荐文章于 2023-03-23 15:42:54 发布

阅读量873

点赞数

分类专栏： pytorch

pytorch 专栏收录该内容

20 篇文章

订阅专栏

博客通过Python代码展示了使用PyTorch的nn.CrossEntropyLoss计算损失的过程，包括单维度和多维度的情况，并手动实现计算进行验证。最后得出CrossEntropyLoss的计算公式，多维度计算时loss为所有维度loss的平均。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import torch
import torch.nn as nn
import math
loss = nn.CrossEntropyLoss()
input = torch.randn(1, 5, requires_grad=True)
target = torch.empty(1, dtype=torch.long).random_(5)
output = loss(input, target)

print("输入为5类:")
print(input)
print("要计算loss的类别:")
print(target)
print("计算loss的结果:")
print(output)

first = 0
for i in range(1):
first -= input[i][target[i]]
second = 0
for i in range(1):
for j in range(5):
second += math.exp(input[i][j])
res = 0
res += first +math.log(second)
print("自己的计算结果：")
print(res)
输出为：
输入为5类:
tensor([[ 1.1157, 1.3396, 0.6192, 0.3732, 0.8985]])
要计算loss的类别:
tensor([ 4])
计算loss的结果:
tensor(1.6380)
自己的计算结果：
tensor(1.6380)

多维度测试：

import torch
import torch.nn as nn
import math
loss = nn.CrossEntropyLoss()
input = torch.randn(3, 5, requires_grad=True)
target = torch.empty(3, dtype=torch.long).random_(5)
output = loss(input, target)

print("输入为3个5类:")
print(input)
print("要计算loss的类别:")
print(target)
print("计算loss的结果:")
print(output)

first = [0,0,0]
for i in range(3):
first[i] -= input[i][target[i]]
second = [0,0,0]
for i in range(3):
for j in range(5):
second[i] += math.exp(input[i][j])
res = 0
for i in range(3):
res += first[i] +math.log(second[i])
print("自己的计算结果：")
print(res/3)
输出为：
输入为3个5类:
tensor([[ 0.0606, -1.1610, -1.2990, 0.2101, 1.5104],
        [-0.6388, -0.4053, -0.4196, 0.7060, 2.2793],
        [ 0.3973, 0.6114, -0.1127, -0.7732, -0.0592]])
要计算loss的类别:
tensor([ 4, 1, 4])
计算loss的结果:
tensor(1.7661)
自己的计算结果：
tensor(1.7661)
结论：
    CrossEntropyLoss计算公式为

CrossEntropyLoss带权重的计算公式为（默认weight=None）

多维度计算时：loss为所有维度loss的平均。
---------------------
作者：tmk_01
来源：优快云
原文：https://blog.youkuaiyun.com/tmk_01/article/details/80839810
版权声明：本文为博主原创文章，转载请附上博文链接！