pytorch中的softmax回归和CrossEntropy损失函数

最新推荐文章于 2024-11-02 08:04:48 发布

zyk9916

最新推荐文章于 2024-11-02 08:04:48 发布

阅读量1.6k

点赞数 1

分类专栏：学习笔记文章标签： python pytorch 逻辑回归深度学习

本文链接：https://blog.youkuaiyun.com/zyk9916/article/details/117260851

版权

本文介绍了在PyTorch中如何利用softmax和CrossEntropyLoss进行分类任务。通过结合torch.nn.LogSoftmax和torch.nn.NLLLoss，或者直接使用torch.nn.CrossEntropyLoss，实现损失计算。在使用CrossEntropyLoss时，注意模型最后一层不需要激活函数，并且真实类别标签应为LongTensor类型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用softmax求损失的过程中，需要经历以下几步：

1.应用softmax函数； 2.取对数； 3.计算损失

其中第1、2步可以使用torch.nn.LogSoftmax()完成，第3步可以使用torch.nn.NLLLoss完成

也可以使用torch.nn.CrossEntropyLoss一次性完成3步操作，构成一个完整的softmax分类器。（使用最多！！！）

CLASS torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduction=‘mean’)

在使用torch.nn.CrossEntropyLoss之前，最后一层不再需要激活函数（无需非线性变换）
在使用torch.nn.CrossEntropyLoss时，样本的真实类别Y应是一个LongTensor，值为各样本的类别标号。

torch.nn.CrossEntropyLoss使用举例：

import torch
import math
criterion = torch.nn.CrossEntropyLoss()

Y = torch.LongTensor([2,0,1])                   # 3个样本是真实标记分别为2,0,1
Y_pred1 = torch.Tensor([[0.1,0.2,0.9],
                        [1.1,0.1,0.2],
                        [0.2,2.1,0.1]])         # 注意这里没有经过激活函数（即softmax函数），而是直接扔进CrossEntropyLoss里
Y_pred2 =

最低0.47元/天解锁文章