Pytorch训练网络模型过程中Loss为负值的问题及其解决方案

Wanderer001

已于 2023-11-02 20:04:40 修改

阅读量1.4w

点赞数 11

CC 4.0 BY-SA版权

分类专栏： Pytorch 文章标签：计算机视觉深度学习机器学习

于 2022-03-05 15:08:07 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_36670529/article/details/115752369

本文介绍了在Pytorch深度学习训练中遇到Loss为负值的问题，主要探讨了两个原因：输入数据未归一化和nll_loss()函数使用不当。解决方案包括对数据进行归一化和调整模型输出层以符合nll_loss()的要求。针对不同任务类型，给出了相应的检查重点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考Pytorch训练网络模型过程中Loss为负值的问题及其解决方案 - 云+社区 - 腾讯云

1. 问题描述

在复现论文的过程中，遇到了训练模型Loss一直为负的情况。

程序主要通过深度学习实现一个分类任务。编程与debug过程全部在windows10系统，Pycharm2018v1.4的IDE下完成，主要框架为pytorch 1.2.0。复现过程中采用了交叉熵损失函数计算Loss。训练过程中输出信息如下：

输出部分的代码段：

for batch_idx, (data, target) in enumerate(train_loader):

data, target = data.to(device), target.to(device)

optimizer.zero_grad()

output = model(data)

loss = F.nll_loss(output, target.squeeze())

loss.backward()

optimizer.step()

if batch_idx % log_interval == 0:

print("Train Epoch: {} [{}/{} ({:0f}%)]\tLoss：{:.6f}".format(

epoch, batch_idx * len(data), len(train_loader.dataset),

100.