pytorch训练过程中内存一直慢慢增长直到爆

最新推荐文章于 2025-07-28 20:11:04 发布
原创 最新推荐文章于 2025-07-28 20:11:04 发布 · 1.2w 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #python #深度学习

博客讲述了在PyTorch中进行深度学习训练时遇到的内存问题。作者最初认为是参数传递或内存释放不当导致内存持续增长，尝试了Python的内存管理技巧但未解决问题。最终发现是由于缺少`torch.no_grad()`上下文管理器，导致每次网络前向传播时保存了梯度，从而大幅消耗内存。解决方案是使用`torch.no_grad()`防止反向传播时保存梯度，有效解决了内存溢出问题。
部署运行你感兴趣的模型镜像

原因：代码中需要多次用到一个高维tensor变量，每一个batch都要更新一次它的值，这个值的获得需要数据集过一次网络
心路历程：刚开始以为是传参或者内存释放的问题，去深入研究了python高级用法，用了很多del、gc.collect()语句，发现内存释放不掉，还是随着训练过程逐渐增长
最终解决：因为是把两个代码的方法往一个整合，又仔细看了源码，发现源代码过网络的时候用了with torch.no_grad()这个语句，就试了一下，没想到就是这个问题，困了我两三天啊啊啊
分析：如果没有这个语句的话，因为要反向求导，pytorch就会创建变量保存梯度，跟这个高维tensor“体量”差不多的东西，如果每过一次网络保存一次梯度，这个内存消耗就非常大了，最终cuda memory out

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

深度学习最全面试题总结（一）
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-04 2万+
导读：本系列深度学习面试题系列总结，资料集合包含机器学习、深度学习等各系列常见问题，可配合下列资料一起学习，内容参考Github及网络资源，仅供个人学习。侵权联系删除！
AI应用架构师亲授：金融市场AI监控系统的设计理念
最新发布
AI天才研究院
07-31 882
2020年“原油宝”事件让中国银行损失超百亿——本质是传统风险监控无法应对“黑天鹅级”的市场波动；2021年某券商因“幌骗交易”（spoofing）被证监会罚款5000万——传统规则引擎只能查“撤单率>50%”的笨欺诈，却抓不住“AI生成的动态撤单模式”。欺诈者用AI生成**“类正常”交易模式**（比如每隔1.2秒下1单，撤单率49%，刚好避开规则）；高频交易的“闪电指令”（flash order）能在1毫秒内完成建仓→拉价→出货；内幕交易的“关联账户网络”（比如高管亲属用10个小号分散买入）。
Pytorch训练深度强化学习时CPU内存占用一直在快速增加
qq_31239371的博客
10-19 3399
说白了，就是经验池的存储函数，也就是因为一直往经验池里加数据导致内存增加。想了想，原来是我最近修改了算法输入，把图像作为状态输入的一部分了，此外换了配置更好的电脑，程序运行速度也提升了。二者综合作用下，内存才会有明显增加，从而被我发现！（我真是脑子抽了，这么简单的问题一直没想到。最近在用MATD3算法解决多机器人任务，但是在训练过程中，CPU内存一直在增加（注意，不是GPU显存）。我很头疼，以为是算法代码出了问题，导致了内存泄漏，折腾了1天也没解决。解决方法：终极方法就是换大内存。
pytorch训练中内存一直增加的原因
qq_42178122的博客
09-05 7092
代码中存在累加loss,但是每步的loss没加item() 例如下面例子; import torch import torch.nn as nn from collections import defaultdict if torch.cuda.is_available(): device = 'cuda' else: device = 'cpu' model = nn.Linear(100, 400).to(device) criterion = nn.L1Loss(reduction
【pytorch训练过程中服务器内存逐渐增加至process killed】
CRDarwin的博客
04-06 2145
pytorch训练过程中服务器内存逐渐增加至process killed 背景说明 之前写过一篇帖子是显存占用逐渐增加到爆，同样的代码，最近又出现一个问题：服务器的RAM在训练过程中，mem used这一项逐渐增加，直到进程被killed。原因还是代码中有一个memory bank，需要把深度模型提取到的特征全部保存下来，进一步分析处理。 解决过程 分析 看帖子其他人讲到使用memory_profiler来分析每行代码的内存使用情况。这个工具很好用，可以统计每行代码执行后使用内存增加/减少数目，帮助锁定内存
【pytorch】——训练的时候内存一直增加
怡宝2号
10-15 3560
pytorch pytorch训练模型的内存一直增加，在我的问题是： 创建了多个dataloader，但是训练的时候只用了一个dataloader的数据，但是另外一个dataloader也参与了循环，具体看下面的例子： dataloaderA = dataloaderB = for i, data in enumerate(zip(dataloaderA, dataloaderB)): data = data[0] input = data[0] label = data[1] 这样就只用.
pytorch 训练过程中缓存不断增大 and loss.backword()占用缓存过大
咖乐部
02-08 1298
total_loss += loss.cpu().detach().numpy()
深度学习框架PyTorch入门与实践：第九章 AI诗人：用RNN写诗
u011436316的博客
10-20 9150
本章重点讲解自然语言处理中的两个基本概念：词向量（Word Vector）和循环神经网络（Recurrent Neural Network，RNN），并尝试自己动手，用RNN实现自动写诗。
pytorch系统学习
夏日山间过
09-12 1405
若想进行in-place操作，就比方说y加上x，y的值就改变了，就可以用y.add_(x)这样y就直接被改变了。Torch里面所有带““的操作，都是in-place的。例如x.copy(y) argmax函数：torch.argmax(input, dim=None, keepdim=False)返回指定维度最大值的序号，也就是变成dim这个维度的最大值的index。 构建深度学习模型的基本流程...
实时推理系统的负载测试：工具与场景设计
AI天才研究院
07-28 922
想象你正在使用手机语音助手发送消息，说出"给妈妈发微信说晚上回家吃饭"后，助手需要在1秒内完成语音识别、语义理解、生成回复——这背后就是实时推理系统在工作。快速接收输入数据（语音、图像、文本等），通过预训练模型计算出结果，并在严格的时间限制内返回输出。但如果同时有100万人在使用这个助手（比如节假日祝福高峰期），系统还能保持1秒内响应吗？会不会出现部分请求超时？结果准确性会不会下降？这些问题，正是负载测试要回答的。解释实时推理系统负载测试的核心概念和重要性介绍常用的测试工具及其适用场景。
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码： with torch.no_grad(): # 停止自动反向计算梯度 参考： https://wisdomai.xyz/tool/pytorch/archives/2301 https://ptorch.com/news/160.html 作者：菜叶儿掉啦
Python Bug 关于PyTorch-Dataset 内存持续增长bug
zhziqiang的博客
09-06 1597
python List[Dict] bug
[原创]关于解决pytorch训练神经网络时显存一直增长的问题
weixin_46724054的博客
08-06 3651
[原创]关于解决pytorch训练神经网络时显存一直增长的问题。
训练的过程中内存一直增加的问题（内存泄漏）、如何检查是否内存泄漏
Drug discovery
05-23 2375
【代码】训练的过程中内存一直增加的问题。
python内存不断增加_解决tensorflow训练时内存持续增加并占满的问题
weixin_39603327的博客
12-05 1124
记录一次小白的tensorflow学习过程，也为有同样困扰的小白留下点经验。先说我出错和解决的过程。在做风格迁移实验时，使用预加载权重的VGG19网络正向提取中间层结果，结果因为代码不当，在遍历图片提取时内存持续增长，导致提取几十个图片的特征内存就满了。原因是在对每一张图片正向传播结束后，都会在留下中间信息。具体地说是在我将正向传播的代码与模型的代码分离了，在每次遍历图片时都会正向传播，在tens...
解决pytorch训练的过程中内存一直增加的问题
Tak-Wah Blog
12-13 2271
oss['loss'] += loss.item() 以及 eval_loss['loss'] += loss.item()。值得注意的是，要复现内存越来越大的问题，模型中需要切换model.train() 和 model.eval()，train_loss以及eval_loss的作用是保存模型的平均误差(这里是累积误差)，保存到tensorboard中。
【问题探究】如何解决pytorch训练时的显存占用递增（导致out of memory）
热门推荐
fish_like_apple的博客
09-26 2万+
前言： { 现在的神经网络模型，动不动就爆内存。两年前我笔记本2G的显存都绰绰有余，现在16G的P100，24G的P40却还不够。更让我郁闷的是，在pytorch训练时，显存占用竟然会不断增加，可能刚开始训练时是正常的，但是放在那里，不知道什么时候它就突然来一句out of memory，然后就尥蹶子不干了，白白浪费了很长的时间。所以这个问题我确实需要搞清楚。 } 正文： ...
python代码运行内存一直增加
zingghalo的博客
10-13 779
【代码】python代码运行内存一直增加/内存不够用，几种解决方式。
终于解决pytorch训练过程中CPU内存溢出的问题
weixin_44616692的博客
06-03 4387
期待了一晚上的结果，早上起来竟然发现CPU内存溢出导致程序奔溃了，今天郁闷了一天。。。经查询，内存溢出的常见原因有：loss求和未加item()num_workers过大大量使用list转tensor。
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值