Pytorch训练过程中，随着Epoch增加，显存增大

最新推荐文章于 2025-05-30 09:51:56 发布

weixin_45655219

最新推荐文章于 2025-05-30 09:51:56 发布

阅读量790

点赞数 3

CC 4.0 BY-SA版权

文章标签： pytorch 人工智能 python

本文链接：https://blog.youkuaiyun.com/weixin_45655219/article/details/136620995

在训练过程中，第一个epoch可用，而第二个epoch显存不够

解决：

1. 检查代码，是否将大量不必要的数据放到GPU

2. 减少模型参数

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_45655219

关注关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

【进程丢失】pytorch DDP分布式训练10个epoch就丢失1个GPU进程

Hello Word!

05-30

1141

现象：已经重复发生过，而且掉进程的卡bus id不一样 Pytorch 版本 1.7.0 ，卡：titan rtx x 8 很奇怪的bug，目前分析的原因： batch size过大，每张卡显存占的太满，导致训练的时候显存爆了？问题：那为什么一开始不爆呢？程序有显存泄漏？显卡过热（这个目前应该不是引起的原因，因为散热风挡已经开到最大，温度最多70度左右） ...

解决网络训练验证过程中显存增加的原因

ChandelerGause的博客

11-13

6343

最近在训练网络时发现网络训练了几个epoch之后就会出现OOM 一开始以为是内存不够，后来才发现是在网络训练过程中，显存会不断的增加。针对以上的问题，查找资料总结了三种有用的方式训练过程过程中，保存参数加.item() 原代码： def train_one_epoch( model, criterion, train_dataloader, optimizer, epoch, clip_max_norm ): model.train() device = next(model

参与评论您还未登录，请先登录后发表或查看评论

[原创]关于解决pytorch训练神经网络时显存一直增长的问题

weixin_46724054的博客

08-06

3548

[原创]关于解决pytorch训练神经网络时显存一直增长的问题。

【pytorch】随着epoch增加，显存逐渐增加？解决pytorch显存释放问题

weixin_43693967的博客

06-29

2445

解决pytorch训练时和测试时显存out of memory的问题。

深度学习在训练时内存占随着epoch的增加而增加

weixin_42631554的博客

05-30

在训练到一定的epoch及batch时会报错runtime error: bad allocation，并且任务管理器中显示内存使用100%。经过排查后发现是因为在计算每个epoch的loss时，直接将loss张量累加，导致计算图无法释放。

【PyTorch笔记】训练时显存一直增加到 out-of-memory？真相了！

u010522887的专栏

07-28

4468

Pytorch 训模型的过程中，发现总是训练几轮后，出现显存爆炸 out-of-memory 的问题，记录这次 debug 之旅，希望对有类似问题的小伙伴有一点点帮助

pytorch 显存逐渐增大

a362682954的博客

11-05

1万+

在训练过程中,显存随着batch的增加而增大,特别是在预测的时候. 这时候可能是因为在训练过程中存储的数组是添加的而不是覆盖的.例如在预测过程中将所有结果逐渐添加保存到一个list中,导致list越来越大,占用的显存越来越多,从而导致oom或者卡死现象. 如果一定要使用添加数组,可以考虑使用np.save分布存储,再使用np.load读取,这样就不会添加进显存. 使用 torch.cuda...

【问题探究】如何解决pytorch训练时的显存占用递增（导致out of memory）

热门推荐

fish_like_apple的博客

09-26

2万+

前言： { 现在的神经网络模型，动不动就爆内存。两年前我笔记本2G的显存都绰绰有余，现在16G的P100，24G的P40却还不够。更让我郁闷的是，在pytorch训练时，显存占用竟然会不断增加，可能刚开始训练时是正常的，但是放在那里，不知道什么时候它就突然来一句out of memory，然后就尥蹶子不干了，白白浪费了很长的时间。所以这个问题我确实需要搞清楚。 } 正文： ...

深度学习笔记（3）-pytorch模型训练流程&实现小GPU显存跑大Batchsize

高不胖的学习笔记

11-24

2293

近期在进行pytorch模型的训练，对pytorch的流程进行一次简单梳理，作为笔记。此外，训练时由于GPU内存有限，数据的Batchsize一般只能到2，而相关资料显示较大的Batchsize有利于提高模型训练效果，故经查阅资料，找到通过修改pytoch训练流程的方式来等效增大Batchsize。一、pytorch模型训练流程在用pytorch训练模型时，通常会在遍历epochs的过程中依次用到optimizer.zero_grad(),loss.backward()和optimizer.step.

【梯度累积】pytorch使用梯度累积实现增大batch训练

xudawu201的博客

06-28

521

当显卡显存不够，不足以一次放下足够的batch size时,可以先多个batch反向传播计算梯度累积后，在n个batch size之后再利用累积的梯度更新网络，实现小显存计算梯度，最后更新，达到使用大batch size更新网路的目的，适合大batch含有重要序列信息的场景。loss通过损失函数计算，然后通过反向传播计算梯度，之前批次的梯度未清零会累积到当前批次的梯度。通过不梯度清零，累积梯度，将损失平均化，使得多批次累积梯度和一大批次的梯度一致。通过梯度累积实现了模拟大batch size训练网络。

pytorch训练过程显存爆炸，随着epoch增加不断增加

RAGERAGE_的博客

11-30

1554

原来我在反向传播完后会累加loss，以计算平均损失打印出来并写入tensorboard，而我在累加loss时用的是loss_epoch += loss ，此时loss会被放入计算图中一起保存，实际上除了反向传播以外，我的loss只是要那个数值而已。在训练时，明明前几个epoch都能正常跑，但是到了某一个epoch突然给我报显存不够了。我寻思你跑完epoch难道不释放显存的吗，为啥epoch和epoch之间的差距还这么大？经过多方查询，多种方法的尝试，最终定位到loss的计算上。

训练过程中显存不断增加

weixin_46842372的博客

10-14

515

如何解决pytorch程序运行时内存消耗一直增加的问题？- 浮生号的回答 - 知乎 https://www.zhihu.com/question/276797963/answer/2355051638。但是feature没有参与loss计算，导致feature没有被反向传播到，一直保留在计算图中。训练一个模型，显存一直在不断增加....肯定是什么变量一直被保存在计算图里面。经过排查发现，我从模型里返回了一个特征（因为这个特征后续要参与计算）。在将feature传出模型前，先detach()

程序运行过程中内存和显存一直增加

whb12345678feng的博客

07-24

789

程序运行过程中内存和显存一直增加的问题

Pytorch在训练模型时，显存不断增大，导致CUDA out of memory。

weixin_40603846的博客

11-29

5735

Pytocch训练模型踩坑记：CUDA out of memory问题解决办法

pytorch训练时的显存占用递增，out of memory

qq_42296251的博客

10-28

672

pytorch进行训练的时候，占用的显存总是不停的上涨，直到out of memory，检查训练日志，发现reserved memory远大于allocated memory，而且allocated memory会波动但不会稳定上涨，reserved memory会稳定上涨。在记录损失的时候，把整个tensor变量给保存了下来，这就导致在完成一次前向推理和反向传播之后，由于损失tensor被保留了下来，导致计算图无法被正常销毁，因此导致reserved memory不停增大。查过资料后发现是损失值的问题。

如果你不清楚epoch,iteration和batch_size，一定要看这篇

qq_35789702的博客

07-19

4998

很多人对这些有自己的理解，这就导致了—百花齐放，成功把人绕晕。比如说 1.batch_size 因为更新参数是按批次更新的，batch_size就是一个批次batch内的数量。 2.iteration 完成一次batch的训练 3.epoch 使用训练集中的全部数据进行一次完整的训练但是对照真正的代码，会很崩溃比如说epoch要不要设置，设置多少为好 iteration也是一样有的代码中没有设置epoch，有的代码没有设置iteration，那到底要怎么才能看懂，这些的关系又是什么。手里有样本的总

深度学习训练模型时，GPU显存不够怎么办？

idol24的博客

12-08

6038

作者丨游客26024@知乎（已授权）编辑丨极市平台来源丨https://www.zhihu.com/question/461811359/answer/2492822726题外话，我为什么要写这篇博客，就是因为我穷！没钱！租的服务器使用多GPU时一会钱就烧没了（gpu内存不用），急需要一种trick，来降低内存加速。回到正题，如果我们使用的数据集较大，且网络较深，则会造成训练较慢，此时我们要想加...

Pytorch训练过程中GPU显存不断增加的解决方案

qq_44811719的博客

05-16

5896

Pytorch训练过程中GPU显存不断增加的解决方案

神经网络训练过程中出现越训练损失越高

最新发布

06-18

### 神经网络训练过程中损失增大的原因及解决方案在神经网络训练过程中，损失值增大可能由多种因素引起。以下将详细分析常见原因并提供相应的解决方案。 #### 1. 梯度爆炸问题梯度爆炸是导致损失值增大的一个常见原因。当梯度过大时，权重更新会变得不稳定，从而导致损失值异常波动甚至增大。例如，在某些情况下，损失值可能会突然升高到较高水平后保持不变[^3]。 **解决方案**： - 使用梯度裁剪（Gradient Clipping）技术来限制梯度的大小，防止其过大。 - 调整学习率以减缓权重更新的速度，避免因步长过大而导致的不稳定。 #### 2. 学习率设置不当学习率过高可能导致模型无法收敛，甚至使损失值不断增大。过高的学习率会使权重更新过于激进，导致模型参数跳过最优解区域。 **解决方案**： - 尝试降低学习率，并观察训练过程中的损失变化情况。 - 使用学习率调度器（Learning Rate Scheduler），动态调整学习率，例如逐步衰减或基于验证集性能调整学习率。 #### 3. 数据质量问题训练数据中可能存在噪声、标注错误或分布不均等问题，这些问题会导致模型难以学习到有效的特征，从而导致损失值增大。 **解决方案**： - 对训练数据进行预处理，包括去除噪声、修正标注错误以及平衡类别分布。 - 增加数据增强技术，提高模型对不同数据分布的适应能力。 #### 4. 模型设计不合理如果模型架构设计不合理，例如层数过多或激活函数选择不当，也可能导致损失值增大。例如，ReLU激活函数可能导致“死区”问题，使得部分神经元不再响应输入变化。 **解决方案**： - 调整模型架构，例如减少层数或更换激活函数为Leaky ReLU等变种。 - 在深度较大的模型中引入Batch Normalization层，稳定训练过程。 #### 5. 初始化问题权重初始化不当可能导致训练初期损失值异常波动，甚至持续增大。例如，使用过小或过大的初始权重值会影响梯度传播。 **解决方案**： - 使用合适的初始化方法，如Xavier初始化或He初始化，确保权重值分布在合理范围内。 #### 6. 显存不足问题显存不足（CUDA OOM）可能导致训练过程中出现异常行为，包括损失值增大或训练中断。当显存不足时，GPU可能无法存储所有中间计算结果和模型参数，从而影响训练稳定性[^4]。 **解决方案**： - 减少批量大小（Batch Size），以降低显存占用。 - 使用混合精度训练（Mixed Precision Training），通过降低数值精度减少显存需求。 #### 示例代码：梯度裁剪与学习率调度器以下是一个使用PyTorch实现梯度裁剪和学习率调度器的示例代码： ```python import torch import torch.nn as nn import torch.optim as optim # 定义模型 model = nn.Sequential( nn.Linear(10, 50), nn.ReLU(), nn.Linear(50, 1) ) # 定义优化器和损失函数 optimizer = optim.Adam(model.parameters(), lr=0.01) criterion = nn.MSELoss() # 学习率调度器 scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.1) # 训练循环 for epoch in range(100): # 前向传播 outputs = model(inputs) loss = criterion(outputs, targets) # 反向传播 optimizer.zero_grad() loss.backward() # 梯度裁剪 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) # 更新权重 optimizer.step() # 调整学习率 scheduler.step() ``` ### 总结神经网络训练过程中损失值增大的原因可能是多方面的，包括梯度爆炸、学习率设置不当、数据质量问题、模型设计不合理、初始化问题以及显存不足等。针对这些问题，可以采取梯度裁剪、调整学习率、优化数据质量、改进模型架构、合理初始化权重以及优化显存使用等措施。