循环模型次数太多导致OOM(out of memory)的解决办法

最新推荐文章于 2025-10-24 15:10:01 发布

原创最新推荐文章于 2025-10-24 15:10:01 发布 · 2.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#OOM #机器学习 #循环 #内存溢出

Machine Learning 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种解决Python在大量循环模型训练中出现的内存溢出问题的方法。通过将循环条件作为终端运行参数，编写并运行多个独立的模型训练脚本，避免了因Python内存管理不当导致的资源浪费。

部署运行你感兴趣的模型镜像

最近写程序因为需要测试不同训练集和测试集划分方法下的模型，以及需要模型调参导致循环模型的次数太多，大概是python不能及时释放空间，由此产生OOM(out of memory)。
下面给出一种解决方法：

把循环删掉，循环条件作为终端运行参数（如a, b)
编写run.sh文件
文件内容为python code.py -param1 a -param2 b，写循环次数个
运行bash run.sh

注意使用这种方法的条件是循环间无关联，每次模型都是独立的。

您可能感兴趣的与本文相关的镜像

Python3.10

Conda

Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

tiny_diudiu

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【性能调优】Python集成Java的服务OOM问题分析经历

sysu_lluozh

12-07

1432

容器服务在执行5设备遍历任务时频繁出现OOMKilled错误(ExitCode 137)。初步排查发现服务器总内存(25G)和进程内存使用均正常，但容器内存限制仅500M。通过memory_profiler分析Python内存显示占用200M，MAT分析Java内存也正常。进一步用ps命令发现Python进程内存高达487MB，远超容器限制。深入分析发现Python安装APK时存在内存问题：多线程重复下载APK包，并将完整包内容加载到内存转发给设备。优化方案改为仅传递APK下载链接，由设备端自行下载安装，从

【Java开发】之 OOM 内存溢出

王廷云的博客

07-03

1507

OOM，全称 Out Of Memory，意思是内存耗尽或内存溢出。对应Java 程序抛出的错为，这个错误在官方的解释如下：意思就是说，当 JVM 因为没有足够的内存来为对象分配空间并且垃圾回收器也已经没有空间可回收时，就会抛出这个 error（注意：这错误并非 exception，因为这个问题已经严重到不足以被应用处理）。

参与评论您还未登录，请先登录后发表或查看评论

python进程池引发OOM排查

柳絮飘扬

07-16

539

最近用进程池做了一个数据分析和预测的项目，里边大量用到了pandas和statsmodels，此外还有matplotlib画图。但是出现了一个问题，我进程池开3个进程，刚开始跑了半天没问题，内存到了6/16G，第二天登陆一看，结果OOM了。由于不知道哪里出现了问题，我猜测要么是在list里边引用了很多对象，导致没法释放，要么就是循环引用了，要么就是资源没有释放。可以看到是每次没有关掉figure对象，所以只需要每次画图完毕之后plt.close(fig)就行。打印进程里边每一个对象的大小情况。

chatgpt赋能Python-python_oom

sc17332889342的博客

05-24

249

本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。

PySpark 内存管理：如何避免 OOM 并提升任务运行稳定性

最新发布

2501_93876551的博客

10-24

547

Executor 内存：分配给工作节点的内存，用于任务执行和数据缓存。Driver 内存：分配给主节点的内存，用于协调任务和存储结果。Storage 内存：用于缓存 RDD 或 DataFrame。Execution 内存：用于计算过程中的临时数据。这些区域的内存分配比例由 Spark 配置参数控制。

tensorflow利用for循环进行训练遇到的内存爆炸问题(OOM)

noblaker的博客

03-24

7306

最近在用tensorflow学习模型的知识蒸馏，自己基于cifar10数据集训练得到的teacher模型，在对3种不同参数量的student模型使用相同的alpha和temperature参数进行蒸馏之后，得到的实验结果均与论文结果相反（论文：Distilling the Knowledge in a Neural Network）所以自己打算用循环方式遍历多种alpha，temperature的参数组合来对比蒸馏效果（不想自己手动调参了.jpg，在notebook里一遍遍调完参重新跑然后保存数据真难顶.

服务器出现for循环时，每循环一次，cuda就多义词内存的现象——即循环不了多少次，就cuda out of memory的原因

weixin_41529093的博客

09-05

388

仅作为记录，博友们请跳过。博主在for循环训练时，发现每训练一个for循环，cuda内存就增加；结果循环不了几次，就cuda out of memory停止。原因博主之前用的是input.append，（即将读取的训练数据组合起来），而且在最后用input=[]，将训练过的数据从input的数组里去除；结果博主把input=[]代码不小心注释掉了，导致上面cuda不断增加的原因（输入的数据是累加的，之前list里的数据还在里面）将input=[]取消注释即可。 ...

gurobipy._exception.GurobiError: Out of memory

09-10

我们正在讨论的是关于gurobipy库出现内存不足错误（GurobiError: Out of memory）的解决方法。用户的需求是解决这个错误，因此我们需要提供一些常见的内存优化方法和解决策略。注意：由于用户之前的问题和回答...

yolo执行中出错CUBA out of memory

03-21

好的，用户遇到了YOLO执行时出现CUDA out of memory的错误，我需要帮他们解决这个问题。首先，我应该回忆一下常见的CUDA内存不足的原因。通常，这种情况是因为GPU显存不够，可能由模型太大、批量大小过大、数据...

GPU内存溢出定位全流程：4步快速排查out of memory on GPU顽疾

在训练一个千亿参数的大语言模型时，你有没有遇到过这样的场景：明明监控显示GPU显存只用了70%，程序却突然报出“CUDA out of memory”？或者更诡异的是——训练跑了十几个小时一切正常，就在快要收敛的时候，显存...

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.04 GiB. GPU

03-25

当PyTorch报错`CUDA out of memory`时，通常是因为显存被模型、数据或缓存占用过多。以下是逐步解决方案： --- #### **1. 检查显存占用** 在代码中添加显存监控语句，定位问题点： ```python import torch print...

Pytorch在训练模型时，显存不断增大，导致CUDA out of memory。

weixin_40603846的博客

11-29

5847

Pytocch训练模型踩坑记：CUDA out of memory问题解决办法

多模型运行冲突问题

u012409283的博客

06-30

463

g1 = tf.Graph() sess1 = tf.Session(graph=g1) tf.Session 的注释 If no graph argument is specified when constructing the session, the default graph will be launched in the session. If you are using more than one graph (created with tf.Graph() in the same proc

tensorflow2.0 对超参数进行寻优的时候，不断加载模型产生OOM（即内存泄露）问题，该怎么解决呢？

qq_35869630的博客

08-22

1882

在平时某个项目的时候，在完成对模型结构的建模之后，还需要对模型的训练超参数进行一个寻优过程，当然这个结构建模过程也是可以进行参数寻优的。但这个不是重点，重点在于我们在进行超参数寻优的过程中，如果需要不断的加载模型进内存， ...

【AI大模型】Transformers大模型库（六）：torch.cuda.OutOfMemoryError: CUDA out of memory解决

人工智能领域博客

06-11

2982

采用GPU进行大模型训练及推理，在初期遇到最多的错误就是CUDA out of memory，主要意味着你的模型在训练或运行过程中尝试分配的GPU内存超出了可用部分，简称“爆显存”

内存溢出OOM是什么，如何应对（Python）

学习代码

07-09

621

—水会溢出、淹没桌面，而程序则会因“内存不够用”直接崩溃。在Python中，这种现象常表现为程序突然卡死、被系统强制终止，或抛出。内存溢出（Out Of Memory，OOM）就像往一个。通过上述方法，Python即使处理GB级数据也能游刃有余。：优先惰性计算（生成器），其次分块处理，最后借助高效库（如。）——让内存从“爆仓”变“高效周转”。

python的out of memory问题

u010271717的专栏

12-26

7108

折腾了一整天又换电脑又重装系统重装各种软件插件最后发现out of memory只是因为少写了一行代码内心的崩溃无法用语言形容虽然本来是乌龙一场但是这个过程中解决问题get一些新技能也不能说完全没有收获【一个大写的心理安慰】开始我的4G小笔记本out of memory之后，我换了一个32G内存的电脑各种重装系统折腾半天好不容易都装好了程序可

Python 内存泄漏问题排查

zhoxing

02-13

9912

【python】垃圾回收机制：内存泄漏调优（三）

MAOZI8的博客

06-04

542

Python程序在运行时，会根据需要在内存中动态地分配内存空间来存储程序中的变量、对象、数据结构等。这些内存空间是临时的，并且随着程序的执行而动态地创建和销毁。一旦计算完成，如果需要将结果持久化，程序可能会将结果写入到硬盘等永久性存储器中，如文件、数据库等。然而，当处理的数据量非常大时，如果内存管理不当，或者程序没有有效地利用内存资源，就可能导致内存消耗过快，最终耗尽可用内存。这种情况通常被称为"Out of Memory"（OOM）错误，或者俗称"爆内存"。