GPU深度学习训练时出现train_loss一直不变且val_loss不变的问题

最新推荐文章于 2025-06-24 12:20:42 发布
原创 最新推荐文章于 2025-06-24 12:20:42 发布 · 7.5k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习GPU

本文介绍了如何清除PyCharm的缓存文件，提供了具体的缓存路径：C:UsersA.PyCharm2018.3systemcaches。通过清除这些缓存可以解决IDE的一些常见问题。

清除pycharm缓存

pycharm缓存位置：C:\Users\A\.PyCharm2018.3\system\caches

晋升之道
关注
Train Loss不降、Valid Loss不降、Test Loss不降的原因及解决
今晚打老虎
03-26 9269
训练损失不下降，拟合能力不足，欠拟合 模型结构和特征工程： 原因：模型结构过于简单或者不合理，训练时很难收敛，再者可能是特征工程出现问题 解决：检查模型结构是不是太小太简单和特征工程是否合理 权重初始化： 原因：不合理的权重初始化会导致收敛极慢，合理的权重初始化能改有极大改善 解决：选择适合自己模型的权重初始化，建议无脑xaiver normal 正则化： 原因：L1、L2、Dro...
yolov8在train时，出现box_loss、cls_loss、dfl_loss为nan，Box(P R mAP50 mAP50-95)为0的解决办法
热门推荐
2301_78783836的博客
07-04 1万+
'cpu' 将self.args.half的值设置为False 后训练yolov8n Box(P R mAP50 mAP50-95)不为0。并注释掉ultralytics/yolo/engine/validator.py 中第102行代码 # self.args.half = self.device.type!分析.half()改为.float()或者把half赋值为False，找到val.py和validator.py。查看self.args.half:的值的结果。
训练网络---train loss从一开始就不变
qq_42037837的博客
04-20 4203
训练网络—train loss、test loss,accuracy从一开始就不变 在训练NTSNet的时候，使用了vgg_16bn的baseline，将其设置为unpretrained的时候，发现vgg文件使用了默认的kaiming初始化。 但遇到这样一个问题：把vgg_16bn的参数全部打印处理，它有很多层的w权重为接近0的特别小的数，导致数据变化的程度不足以影响得到的结果。 **train ...
TensorFlow 训练中loss值一直不变：你是不是掉进了这些坑？
最新发布
cda2024的博客
06-24 1013
有时我们可能需要设计特定的损失函数以满足特殊需求。此时务必保证新定义的损失函数具备良好的性质，例如凸性、连续性和可导性等。否则，优化过程中可能出现各种意外情况，导致loss值异常。
val_acc一直不变
weixin_43299529的博客
02-11 1万+
val_loss一直不变的原因 之前用keras编写了LSTM模型，做图片分类，自己划分了测试集和训练集，但是得到的结果是每个epoch训练的准确率都不变。 探索 我一直以为是我的数据的读取方式不对，我一直在从这方面下手，但是后来我发现根本不是这个原因，也找到了解决方案，具体原因有三点，三点是递进关系。 1.数据集样本各类别数量差距大 如果没有这种情况就看看第二点。 2.训练集和数据集是手动划分...
【笔记】深度学习的GPU加速方法： torch.cuda.amp.GradScaler() 、with torch.cuda.amp.autocast():
nyist_yangguang的博客
12-30 815
（循环体）训练的函数。
深度学习篇---分类任务图像预处理&模型训练
道阻且长，行则将至。
03-16 1743
本文简单介绍了pytoch、paddlepaddle框架下的分类任务的图像预处理、模型训练以及模型保存的流程。# 初始化数据集路径和标签self.classes = os.listdir(data_dir) # 获取类别文件夹（如class1, class2）self.image_paths = [] # 存储所有图像路径self.labels = [] # 存储对应标签# 遍历子文件夹，构建路径和标签的映射self.transform = transform # 数据增强/归一化操作。
PyTorch Lightning：简化深度学习训练的革命
07-19
### PyTorch Lightning：简化深度学习训练的革命 在深度学习领域，PyTorch 已经成为研究人员和工程师们的首选框架之一。它以其灵活性、易用性和强大的社区支持而闻名。尽管如此，在处理大规模项目时，传统的 ...
yolov8逐步分解(9)_训练过程之Epoch迭代过程
yueguang8的博客
06-04 3176
本章节详细介绍yolov8训练过程中Epoch循环及每个batch循环过程的代码功能，并完成_do_train()训练的所有代码的讲解。
深度学习使用交叉验证（2）
weixin_73101319的博客
07-28 390
所以，在训练的时候想到了使用交叉验证的方法。只划分为训练集和测试集。在训练的时候，使用交叉验证选出结果最好的模型，在测试集上直接进行测试。在之前的项目中，数据比较多。都是按照7:1:2分为训练集、验证集和测试集，用验证集选出最优的模型，然后在测试集上进行测试。但是这次项目的数据比较少，验证集和测试集只有十几个、二十几个，这样用来验证、测试模型不能具有很大意义。查阅了一些资料，最终在深度学习中实现了交叉验证。
怎么看神经网络过早收敛_深度学习训练网络中，test loss比training loss早很多收敛，迭代次数要怎么取？...
weixin_39576270的博客
02-12 3503
本着实事求是的态度总没有错。我们的目标就是用网络模型做出更好的预测效果，所以能实现这个目标的方法都是好方法。以下列举了一些迭代次数判断的方法：01 当loss值收敛时结束迭代深度学习的一个关键原理就是比较学习结果和样本标签之间的差距。理论上差距越小，表明学习的效果越好。这个差距就是loss值。Loss值不可能变为0，只能无限逼近0。所以通过脚趾都能想到，当loss值无法变小的时候，这称为收敛，就是...
深度学习中训练集（train set），验证集（validation set)和测试集（test set）
山上有只羊M
12-06 1万+
在有监督(supervise)的机器学习中，数据集常被分成2~3个，即：训练集(train set) 验证集(validation set) 测试集(test set)。 训练样本和测试样本 训练样本的目的是 数学模型的参数，经过训练之后，可以认为你的模型系统确立了下来。 一般训练样本和测试样本相互独立，使用不同的数据。 training set 是用来训练模型或确定模型参数的，如ANN中权值等；...
深度学习：根据 loss曲线，对模型调参
weixin_46969441的博客
11-01 1万+
深度学习模型调参笔记 train loss 下降，val loss下降，说明网络仍在学习； 奈斯，继续训练 train loss 下降，val loss上升，说明网络开始过拟合了；赶紧停止，然后数据增强、正则 train loss 不变，val loss不变，说明学习遇到瓶颈；调小学习率或批量数目 train loss 不变，val loss下降，说明数据集100%有问题；检查数据集标注有没有问题 train loss 上升，val loss上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问
模型训练损失值不变_实验笔记—深度学习模型训练技巧二
weixin_39795116的博客
12-06 3378
点击蓝字关注我们AI研习图书馆，发现不一样的世界炼丹笔记深度学习炼丹笔记二深度学习模型训练技巧及可能出现的问题分析1、导致模型训练不收敛的原因有哪些？一、数据和标签实验数据分类或标注是否准确？数据是否干净？数据集太小一般不会带来不收敛的问题，只要你一直在训练总会收敛(意外除外)。反而不收敛一般是由于样本的信息量太大导致网络不足以拟合住整个样本空间。样本少只可能带来过拟合的问题。二、学习率...
神经网络测试集loss不变_神经网络训练过程中不收敛或者训练失败的原因
weixin_39737233的博客
12-01 4391
在面对模型不收敛的时候，首先要保证训练的次数够多。在训练过程中，loss并不是一直在下降，准确率一直在提升的，会有一些震荡存在。只要总体趋势是在收敛就行。若训练次数够多（一般上千次，上万次，或者几十个epoch）没收敛，再考虑采取措施解决。一、数据与标签没有对数据进行预处理。数据分类标注是否准确？数据是否干净？没有对数据进行归一化。由于不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数...
从val_loss，train_loss，test_loss中产生的问题
luweiming123的博客
03-31 1万+
看代码看懵了 从吴恩达老师的视频中我们可以知道：最佳的数据分类情况是把数据集分为三部分，分别为：训练集(train set)，验证集(validation set)和测试集(test set)。 那么，验证集和测试集有什么区别呢？ 实际上，两者的主要区别是：验证集用于进一步确定模型中的超参数(例如正则项系数、ANN中隐含层的节点个数等)而测试集只是用于评估模型的精确度(即泛化能力)！ 举个例子：假...
pytorch_lightning.utilities.exceptions.MisconfigurationException: ModelCheckpoint(monitor='val_loss') not found in the returned metrics: ['train_action_loss', 'train_wp_loss_loss', 'train_speed_loss', 'train_value_loss', 'train_feature_loss', 'train_future_feature_loss', 'train_future_action_loss']. HINT: Did you call self.log('val_loss', tensor) in the LightningModule?这是我的报错
03-26
<think>好的，我现在遇到了一个PyTorch Lightning的问题，错误信息是`MisconfigurationException: ModelCheckpoint(monitor='val_loss') not found in the returned metrics`。我需要仔细分析这个问题，找出原因并解决它。首先，我需要理解这个错误的含义。 错误提示说`ModelCheckpoint`监控的指标`val_loss`没有在返回的指标列表中找到。返回的指标包括一些`train_`开头的指标，比如`train_action_loss`、`train_wp_loss_loss`等。这说明在训练过程中，可能没有正确记录`val_loss`这个指标，或者在验证步骤中没有调用`self.log('val_loss', ...)`。 首先，我应该回忆一下PyTorch Lightning中ModelCheckpoint的工作原理。ModelCheckpoint会根据在训练或验证过程中记录的指标来保存模型，默认情况下会监控`val_loss`。如果在验证阶段没有记录`val_loss`，或者记录的名称不对，就会导致这个错误。 接下来，我需要检查代码中的`validation_step`函数，确认是否有调用`self.log('val_loss', val_loss)`。用户之前提供的代码片段中有多个`self.log`调用，但可能遗漏了`val_loss`，或者名称拼写错误。比如，可能错误地写成了`val_loss_loss`或者其他变体。此外，还要确认这些`self.log`是否在`validation_step`中调用，而不是在`training_step`中，因为错误信息中提到的指标都是`train_`开头的，这可能意味着这些指标是在训练步骤中记录的，而验证步骤中的指标没有被正确记录。 另一个可能性是，虽然用户在`validation_step`中记录了`val_loss`，但在实际运行中，可能由于条件判断或某些逻辑分支导致`self.log`没有被执行。例如，可能在某个条件分支中跳过了记录`val_loss`的代码，导致该指标没有被记录，从而触发错误。 此外，还要注意`sync_dist`参数的使用是否正确，尤其是在多GPU训练时，可能需要同步指标。不过，这个参数的问题通常不会导致指标完全不被记录，而是可能导致数值不一致，所以暂时可以排除这个因素。 还需要检查`ModelCheckpoint`的配置是否正确。例如，是否错误地将`monitor`参数设置为`val_loss`，但实际记录的指标名称不同，比如大小写不一致或者拼写错误。例如，是否写成了`Val_Loss`或者其他形式，导致名称不匹配。 另外，用户之前提到的代码中，有些指标名称可能存在问题，比如`val_wp_loss_loss`是否存在重复的`_loss`后缀，这可能是一个命名错误，导致预期的`val_loss`没有被正确记录，而是记录了其他名称的指标。例如，可能用户错误地将`val_wp_loss`记录为`val_wp_loss_loss`，从而覆盖了`val_loss`的记录。 还有一种可能，用户可能在`validation_epoch_end`中手动处理了指标，而没有正确调用`self.log`，或者在`validation_step`中收集了各个batch的损失，但未在`validation_epoch_end`中汇总和记录`val_loss`。PyTorch Lightning的自动记录机制可能需要显式地在每个`validation_step`中调用`self.log`，或者在`validation_epoch_end`中汇总后记录。 此外，用户可能在训练过程中没有运行验证步骤，导致验证指标没有被记录。例如，`val_check_interval`设置不正确，或者`limit_val_batches`设置为0，导致验证步骤没有执行，从而没有`val_loss`指标生成。 总结下来，可能的原因有： 1. 在`validation_step`中没有调用`self.log('val_loss', ...)`。 2. `self.log`中的指标名称拼写错误，例如写成了`val_loss_loss`或其他变体。 3. `validation_step`中的某些条件分支跳过了`self.log`的调用。 4. `ModelCheckpoint`的`monitor`参数设置错误，与实际记录的指标名称不匹配。 5. 验证步骤没有被正确执行，导致没有生成`val_loss`指标。 6. 在`validation_epoch_end`中没有正确汇总并记录`val_loss`。 接下来，我需要一步步排除这些可能性。首先，检查`validation_step`函数中是否有`self.log('val_loss', ...)`。根据用户之前提供的代码片段，似乎他们在`validation_step`中记录了多个`val_`开头的指标，例如`val_action_loss`、`val_speed_loss`等，但没有提到`val_loss`。这可能就是问题的根源：用户可能在验证步骤中没有记录`val_loss`，而是记录了其他分解后的损失项，但`ModelCheckpoint`仍然默认监控`val_loss`，导致找不到该指标。 例如，用户可能在`validation_step`中计算了各个组件的损失（如动作损失、速度损失等），并分别记录了这些损失，但没有计算或记录总的`val_loss`。此时，PyTorch Lightning在保存模型时会寻找`val_loss`，但找不到，从而报错。 因此，解决方法是确保在`validation_step`中调用`self.log('val_loss', total_val_loss)`，其中`total_val_loss`是各个损失项的总和或需要监控的总损失。用户需要确认是否在验证步骤中计算了总损失，并将其记录为`val_loss`。 另外，用户需要检查`ModelCheckpoint`的配置。如果用户希望监控其他指标，例如`val_action_loss`，则需要将`monitor`参数设置为对应的名称。如果确实需要监控`val_loss`，则必须确保该指标被正确记录。 可能的解决方案步骤： 1. 在`validation_step`中计算总验证损失`val_loss`，并调用`self.log('val_loss', val_loss)`。 2. 检查所有`self.log`调用中的指标名称是否正确，特别是是否有拼写错误。 3. 确保验证步骤被执行，检查`Trainer`的参数如`val_check_interval`和`limit_val_batches`。 4. 如果不需要监控`val_loss`，可以修改`ModelCheckpoint`的`monitor`参数为实际存在的指标名称。 例如，用户可能需要将各个损失项相加得到总损失，并记录： ```python def validation_step(self, batch, batch_idx): # 计算各个损失项 action_loss = ... speed_loss = ... # 总损失 total_loss = action_loss + speed_loss + ... # 根据实际情况组合 self.log('val_loss', total_loss, sync_dist=True) # 记录其他分解的损失项 self.log('val_action_loss', action_loss, sync_dist=True) self.log('val_speed_loss', speed_loss, sync_dist=True) # ...其他指标 ``` 这样，在验证过程中就会记录`val_loss`，ModelCheckpoint就能找到该指标。 此外，用户需要确认是否在`validation_step`中调用了这些`self.log`，而不是在`training_step`中。因为错误信息中列出的指标都是`train_`前缀的，这可能意味着用户错误地在训练步骤中记录了这些指标，而验证步骤中没有记录`val_loss`，导致验证指标缺失。 如果用户确实在`validation_step`中记录了`val_loss`，但仍出现此错误，需要检查是否在`validation_step`中正确返回了结果，或者是否覆盖了`validation_epoch_end`而没有在其中记录指标。 另一个需要注意的点是，PyTorch Lightning在自动记录指标时，会在指标名称前自动添加`train_`或`val_`前缀，具体取决于是在`training_step`还是`validation_step`中调用`self.log`。但根据文档，用户需要自行添加这些前缀。例如，在`validation_step`中记录`loss`，会被自动命名为`val_loss`？或者需要显式命名为`val_loss`？ 根据PyTorch Lightning的文档，`self.log`在`training_step`、`validation_step`等函数中使用时，不会自动添加前缀，必须由用户显式指定。因此，在`validation_step`中记录`loss`应该显式命名为`val_loss`，否则名称就是`loss`，而`ModelCheckpoint`寻找的是`val_loss`，因此名称不匹配会导致错误。 因此，用户必须确保在`validation_step`中使用`self.log('val_loss', ...)`，而如果在`training_step`中使用`self.log('loss', ...)`，则训练指标会被命名为`loss`，而验证指标需要显式命名为`val_loss`。 总结，用户的问题在于没有在验证步骤中正确记录`val_loss`指标，或者记录的名称不匹配，导致ModelCheckpoint找不到该指标。需要检查`validation_step`中的`self.log`调用，确保存在`self.log('val_loss', ...)`，并且名称拼写正确。</think>### **错误原因分析** 你遇到的错误 `MisconfigurationException` 是因为 `ModelCheckpoint` 试图监控一个名为 `val_loss` 的指标，但在验证过程中**未找到该指标**。根据错误提示，当前记录的指标全是 `train_` 前缀的训练阶段指标（如 `train_action_loss`），而 `val_` 前缀的验证指标未被正确记录。 --- ### **问题根源** #### 1. **缺失 `val_loss` 的日志记录** - 在 `validation_step` 中，必须显式调用 `self.log('val_loss', ...)`。如果仅在训练阶段记录损失（如 `training_step` 中调用 `self.log('loss', ...)`），验证阶段的 `val_loss` 不会自动生成。 - **关键点**：PyTorch Lightning 不会自动为验证指标添加前缀，必须手动指定 `val_`。 #### 2. **命名冲突或拼写错误** - 检查是否存在以下问题： - 错误命名：如将 `val_loss` 写成 `val_loss_loss`（例如之前的 `val_wp_loss_loss`）。 - 未在验证阶段记录：`val_` 开头的指标必须在 `validation_step` 中记录，而非 `training_step`。 --- ### **解决方案** #### 步骤 1：在 `validation_step` 中显式记录 `val_loss` 在验证步骤中，计算总损失（如各分项损失之和），并调用 `self.log`： ```python def validation_step(self, batch, batch_idx): # 计算各分项损失（如 action_loss, speed_loss 等） action_loss = ... speed_loss = ... value_loss = ... # 总损失 = 各分项损失之和（根据实际需求设计） total_val_loss = action_loss + speed_loss + value_loss # 记录总损失（名称必须为 val_loss） self.log("val_loss", total_val_loss, sync_dist=True) # 记录其他分项损失（可选） self.log("val_action_loss", action_loss, sync_dist=True) self.log("val_speed_loss", speed_loss, sync_dist=True) ``` #### 步骤 2：检查 `ModelCheckpoint` 的配置 确保 `ModelCheckpoint` 的 `monitor` 参数与实际记录的指标名称完全一致： ```python from pytorch_lightning.callbacks import ModelCheckpoint # 正确配置（监控 val_loss） checkpoint_callback = ModelCheckpoint( monitor="val_loss", # 必须与 self.log('val_loss', ...) 中的名称一致 mode="min", save_top_k=3, filename="best-{epoch}-{val_loss:.2f}" ) ``` #### 步骤 3：验证代码调用位置 - **确认 `self.log('val_loss', ...)` 在 `validation_step` 中执行**，而非 `training_step`。 - 如果使用 `validation_epoch_end` 汇总指标，需在每一步调用 `self.log` 或在 `validation_epoch_end` 中显式记录： ```python def validation_epoch_end(self, outputs): # 从所有 batch 中聚合损失（示例） avg_val_loss = torch.stack([x["val_loss"] for x in outputs]).mean() self.log("val_loss", avg_val_loss, sync_dist=True) ``` --- ### **附加检查** 1. **验证步骤是否执行**： - 检查 `Trainer` 参数（如 `val_check_interval`、`limit_val_batches`），确保验证步骤被触发。 - 示例： ```python trainer = Trainer( val_check_interval=1.0, # 每个 epoch 执行一次验证 limit_val_batches=1.0 # 使用全部验证数据 ) ``` 2. **指标名称一致性**： - 确保所有 `val_` 前缀的指标名称无拼写错误（如 `val_loss` vs. `val_Loss`）。 --- ### **总结** - **核心问题**：`val_loss` 未被记录或名称不匹配。 - **修复方法**： 1. 在 `validation_step` 中明确记录 `val_loss`。 2. 检查 `ModelCheckpoint` 配置的 `monitor` 参数。 3. 确保验证步骤实际执行。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值