pytorch worker数设置为0导致显存OOM

已于 2024-12-10 14:51:22 修改
阅读量136 收藏
点赞数 2
分类专栏： AI与ML 文章标签： 人工智能
于 2024-11-13 19:10:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/duoyasong5907/article/details/143749975
版权

问题现象

为了调试dataloader的代码，设置了worker数为0，其它参数没改，结果本来能运行的pytorch训练程序，现在触发了显存OOM。

原因分析

同样batch size的情况下，worker=0相比于worker>0会导致更多的显存占用，可能是程序会将缓存的数据都加载到显存上。解决方法也很简单：

  1. worker=0，降低batch size
  2. batch size不变，设置worker>0
如何处理内存不足（OOM）错误？（面试题200合集，高频、实用）
qq_38334677的博客
05-12 791
内存不足（Out-of-Memory, OOM）错误是机器学习，尤其是深度学习开发者经常遇到的棘手问题。当程序尝试分配的内存超出了可用资源（CPU RAM 或 GPU显存 VRAM）的上限时，就会触发此类错误。妥善处理OOM对于成功训练大型模型和处理大规模数据集至关重要。
GPU Memory Problems in PyTorch（显卡爆炸与利用率不足）
nakaizura
08-15 5953
如今研究人工智能，跑深度学习算法，显卡/GPU绝对是第一大门槛，所以不管您是1080Ti还是V100，如果不能发挥出GPU的最大能力，那它可能就是不是显卡而是块普通的砖头了吧。 显卡爆炸 显卡爆炸和内存的使用紧密相连，特别是在代码中对某些变量的不当使用，很有可能内存泄露，从而慢慢得导致显卡OOM（out of memory）。一般来说，计算模型时显存主要是模型参数 + 计算产生的中间变量，细分可以占用分四个部分： 模型参数 模型计算中间结果 反向传播中间结果 优化器额外参数 但是如果模型出现显卡内存不足
PyTorch分布式DPP涉及的基本概念与问题
u012605037的博客
03-29 1万+
PyTorch分布式DPP涉及的基本概念与问题1 分布式引入的参数1.1 rank、local_rank、node等的概念1.2 通信参数与模式1.3 分布式任务中常用的函数2 提速参数与隐藏的简单问题2.1 dataloader提速的参数2.2 checkpoint的保存与加载2.3 dist.init_process_group的init_method 方式2.4 进程内指定显卡2.5 CUDA初始化的问题 本篇主要讲解DDP的一些概念和问题，主要涵盖如下： 1、参数rank、local_rank、no
python内存一直增加_当word>0时，Python数据加载器为num，内存消耗逐渐增加，最终达到oom,PytorchDataLoader,numworder0,占用,增大,OOM...
weixin_39993454的博客
12-10 590
现象内存占用随着训练过程逐渐增大，最终Out of memory。即使将不再用到的变量及时删除并使用gc.collect()，也无法解决。解决方案方案1：Dataset 的成员变量避免使用Python原生数据格式以下面的Dataset代码为例，如果使用self.data = [x for x in range(24000000)]，即使用了List作为Dataset的成员变量，当num_worke...
PyTorch入门教程：下载、安装、配置、参数简介、DataLoader（数据迭代器）参数解析与用法合集
猫头虎技术团队：授渔优于赠鱼，兴趣引领智慧，探索之乐尤显珍贵。商务合作+：Libin9iOak ，万粉变现+：优快云WF，猫头虎承诺每年免费为100名C站创作者做账号流量诊断服务！全网搜：猫头虎技术团队，点击文章底部名片或直接私信我一切皆可谈，快找虎哥！
05-26 5161
PyTorch入门教程、PyTorch下载与安装、PyTorch配置环境、PyTorch参数设置、PyTorch 2.7 CUDA 12.8 完整指南、深度学习框架对比、Python深度学习零基础快速上手、DataLoader数据迭代器详解、BatchSize优化、num_workers最佳实践、GPU加速训练、CUDA驱动安装、cuDNN版本匹配、torch.compile性能优化、PyTorch分布式训练、PyTorch可复现性设置、模型训练调参、图像分类实战、CIFAR-10示例、ImageNet预处
Pytorch Lightning框架：使用笔记【LightningModule、LightningDataModule、Trainer、ModelCheckpoint】
u013250861的博客
03-19 2万+
pytorch是有缺陷的，例如要用半精度训练、BatchNorm参数同步、单机多卡训练，则要安排一下Apex，Apex安装也是很烦啊，我个人经历是各种报错，安装好了程序还是各种报错，而pl则不同，这些全部都安排，而且只要设置一下参数就可以了。另外，根据我训练的模型，4张卡的训练速度大概提升3倍，训练效果（图像生成）好很多，真香。另外，还有一个特色，就是你的超参数全部保存到模型中，如果你要调巨多参数，那就不需要再对每个训练的模型进行参数标记了，而且恢复模型时可以直接恢复超参数，可以大大减小代码量和工作量，这.
python显卡利用率_GPU Memory Problems in PyTorch（显卡爆炸与利用率不足）
weixin_42348109的博客
02-04 969
如今研究人工智能，跑深度学习算法，显卡/GPU绝对是第一大门槛，所以不管您是1080Ti还是V100，如果不能发挥出GPU的最大能力，那它可能就是不是显卡而是块普通的砖头了吧。显卡爆炸显卡爆炸和内存的使用紧密相连，特别是在代码中对某些变量的不当使用，很有可能内存泄露，从而慢慢得导致显卡OOM(out of memory)。一般来说，计算模型时显存主要是模型参数 + 计算产生的中间变量，细分可以占用...
Windows下，Pytorch使用Imagenet-1K训练ResNet的经验（有代码）
热门推荐
qq_33328642的博客
12-22 2万+
感谢中科院，感谢东南大学，感谢南京医科大，感谢江苏省人民医院以的赞助 题记----------------- 只有与ImageNet真正殴打过一次才算是真的到了深度学习的坑边，下一步才是入坑。 引用装备所兰海大佬的一句话： 能借鉴别人经验的一定要借鉴别人的经验，不叫人家已经过河了，你还假装在河里摸石头，别装了。 1. 下载Imagent-1k数据集 首先，ImageNet数据集大家都可以通过百度云下载。 可以通过我这便的链接下载。 链接：https://pan.baidu.com/s/1NlenXev0cN
PyTorch多卡训练避坑指南：从CUDA_VISIBLE_DEVICES到NCCL调优
datacanvas2426的博客
06-05 430
类别错误做法正确方案设备分配硬编码cuda:0通信后端默认使用gloo多卡必选批大小设置所有卡相同batch_size按显存动态调整数据读取单worker加载数据混合精度全模型强制float16AMP自动管控+梯度缩放。
num_cpus_for_driver=0.5, # No extra worker used for learning. But this config impact the evaluation workers. num_cpus_per_worker=0.1, # num_gpus_per_worker=0.1 if args.num_gpus != 0 else 0, num_gpus=0.2 if args.num_gpus != 0 else 0, framework="torch"
04-03
对于需要GPU加速的任务来说，0.2可能不够，尤其是使用PyTorch框架时，如果模型较大或批量处理数据较多，显存可能不足，导致OOM错误。此外，用户注释掉了`num_gpus_per_worker`，可能需要确认是否应该为每个worker...
强化学习 A2C算法
最新发布
tony365的博客
06-13 468
更准确地说，Reinforce 是 基于策略的方法 的一个子类，称为 策略梯度方法。在基于策略的方法中，我们的目标是直接优化策略，而无需使用价值函数。更准确地说，Reinforce 是 基于策略的方法 的一个子类，称为 策略梯度方法。然而，因为我们使用蒙特卡洛采样来估计回报（我们使用整个 episode 来计算回报），所以我们在策略梯度估计中存在显着的方差。然而，因为我们使用蒙特卡洛采样来估计回报（我们使用整个 episode 来计算回报），所以我们在策略梯度估计中存在显着的方差。
大模型工作流Dify面试题及参考答案
大模型大数据攻城狮的专栏
06-12 462
设计一个基于 Dify 的智能摘要与重点提取 Agent，需结合Prompt 工程、模型能力配置和工作流优化，确保对长文本的高效解析和关键信息提炼。1. 明确任务需求与输入输出输入：长文本内容（如文章、报告、会议记录）或文本 URL输出摘要：简洁概括原文核心内容，控制在原文长度的 10%-20%重点列表：分点列出关键数据、结论、行动项等可选：关键词提取、情感倾向分析示例场景输入：一篇 5000 字的行业报告。
yolo模型精度提升策略
qq_47798402的博客
06-09 1004
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
Models-＞Chat Models-＞OpenAI Chat
xiatiaohcx的专栏
06-10 673
Spring AI支持来自OpenAI的各种AI语言模型，OpenAI是ChatGPT背后的公司，由于其创建了行业领先的文本生成模型和嵌入，它在激发人们对AI驱动的文本生成的兴趣方面发挥了重要作用。
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 1271
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 832
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
简繁体智能翻译软件
weixin_62784879的博客
06-09 707
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 1426
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
【向量库】Weaviate 搜索与索引技术：从基础概念到性能优化
hiliang521的博客
06-09 1181
【向量库】Weaviate 搜索与索引技术：从基础概念到性能优化
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值