pytorch 训练正常,测试显存爆掉问题解决

最新推荐文章于 2025-06-03 09:00:55 发布
原创 最新推荐文章于 2025-06-03 09:00:55 发布 · 6.6k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Pytorch

在使用PyTorch进行模型训练时一切正常，但在模型预测阶段出现GPU内存溢出问题，错误信息提及显存爆掉。问题可能与PyTorch版本0.4.0和cuDNN版本7.0.1有关。为解决此问题，可以参考相关链接寻找临时解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

pytorch 训练正常,测试显存爆掉问题解决

Intro

pytorch gpu out of memory when test the model

pytorch version

0.4.0

cudnn version

7.0.1

pytorch训练正常但是在预测的时候显存爆掉,错误信息如下

RuntimeError: CUD
最低0.47元/天 解锁文章

200万优质内容无限畅学
pytorch训练与测试爆显存问题的解决
juluwangriyue的博客
11-27 5310
解决Pytorch 训练与测试时爆显存(out of memory)的问题 Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。 使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下： try: output = model(input) except RuntimeError as exception: if "out of memory" in str(excep
Pytorch 训练与测试时爆显存(cuda out of memory)的终极解决方案，使用cpu(勿喷)
weixin_44493841的博客
05-12 6060
Pytorch 训练与测试时爆显存(out of memory)的终极解决方案，使用cpu(勿喷) 参见了很多方法，都没有用。 简单点，直接把gpu设成-1
Pytorch 训练与测试时爆显存(out of memory)的一个解决方案
热门推荐
xiaoxifei的专栏
11-23 6万+
Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。 使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下： try: output = model(input) except RuntimeError as exception: if "out of...
深度解析：多节点多GPU PyTorch程序卡死与死锁诊断指南
gitblog_01111的博客
06-03 254
深度解析：多节点多GPU PyTorch程序卡死与死锁诊断指南 在分布式机器学习工程实践中，多节点多GPU环境下的程序卡死和死锁问题是开发者经常遇到的棘手难题。本文将基于实际工程经验，系统性地介绍诊断和解决这类问题的方法论。 一、问题背景与诊断工具 在分布式训练场景中，程序可能因为多种原因出现卡死现象，包括但不限于： 网络通信问题 NCCL集体操作阻塞 进程同步失败 硬件故障 1.1 基础诊断...
pytorch训练解决显存爆炸问题
zhangqiqiyihao的博客
05-08 5480
1.torch.cuda.empty_cache() 每轮epoch后加这个代码实测没有用 2.存储loss时将loss改为loss.item()，问题解决。 loss_list=[] 在我的代码中，在训练前建立了一个loss的list来存储每轮的loss，目的为了在N个EPOCH后绘制图像。 loss = criterion(outputs, dec_outputs.view(-1).reshape(-1,1)) optimizer.zero_grad() loss.backward() optimiz
DEBUG:pytorch训练时候没有问题，预测时候内存迅速增长，爆掉，out of memory的解决办法
Yolo_C的博客
06-03 2947
在使用pytorch训练模型的时候，训练时候，内存十分平稳，预测的时候迅速增长，报内存不足的错误 原始是忘记加no_grad 解决方法：在预测的时候，加with torch.no_grad() with torch.no_grad(): for i,batch in enumerate(test_loader): pass ...
目标检测——在训练PyTorch模型遇到显存不足的情况怎么办？(legecy)
墨门
03-09 7600
1 前言 在目标检测中，可能会遇到显存不足的情况，我们在这里记录一下解决方案； 2 如何减少PyTorch模型需要的显存 2.1 减小batch_size的数量 最小的数量可以设置为2； 2.2 可以减小分辨率 减小分辨率是节省显存的一种可行的做法，（但是南溪是不推荐这种做法的，如果实在显存不够，可以减小batch_size的大小，因为降低分辨率从本质上看，是对图像进行下采样，这样必然...
解决Pytorch 训练与测试时爆显存(out of memory)的问题
09-18
以下是一些解决PyTorch训练与测试时显存溢出问题的方法。 首先，当训练过程中出现OOM错误，可以尝试使用`torch.cuda.empty_cache()`函数来清理GPU缓存。这个函数会释放当前不再使用的CUDA张量，从而回收一部分显存...
Pytorch训练测试时如何避免显存溢出
最新发布
07-03
在使用 Pytorch 进行模型训练过程中，有时会遇到显存不足的情况，这通常是由于加载了过多的数据或模型结构过于庞大导致的。当出现显存不足时，如果模型不是特别庞大，可以通过一些清理技术来解决。比如使用 torch....
Pytorch 测试阶段显存溢出
weixin_41514525的博客
02-07 1371
Pytorch模型训练的测试阶段, 显存溢出，训练阶段并没有显存溢出，原因: 没有使用 with torch.no_grad()，model.eval()只是使dropout和bn不工作，并不能产生torch.no_grad()的效果 with torch.no_grad(): 测试阶段代码 ...
【突然科研】解决分布式训练时突然断开并报错
weixin_44398263的博客
04-13 883
今天在训模型时突然报错 查了一下可能是内存问题，但有观察显存一直是比较稳定的。请教了一下群里的大佬可能是cpu内存不足，进程被系统杀掉。因为终端没有输出详细报错信息，大佬建议我去/var/log下查系统日志【凡是被系统kill的都会写进系统日志里的】 通过命令 sudo egrep -i -r 'killed process' /var/log 或者用专门的dmesg sudo dmesg|grep -i kill | less 查到： 果然是内存不足被杀了，然后top看了一下果然cpu被占满了
训练没问题测试报内存溢出：RuntimeError: CUDA out of memory...
qq_40041133的博客
10-21 1806
OOM报错如图所示： 训练跑得好好的，怎么测试的时候反倒报错了呢？ 原来是没有加with torch.no_grad()，在测试的时候有gradient容易报内存溢出，加上： with torch.no_grad(): testY = model(testX) 再跑代码就OK了。 ...
Yolov8训练时正常，但验证时Cuda out of memory问题的解决方案（非完全解决）
qq_54708219的博客
07-31 1658
阻止模型验证时，仍计算梯度，导致模型显存溢出。但是这样仍无法解决，甚至验证无法进行【可能这里笔者加的地方有问题，如果有大神希望指导一下！因此，本着解决不了问题就解决提出问题的人的原则，直接在训练中关闭验证，等训练结束之后再单独验证。在没有条件更换训练显卡的情况下，笔者尝试增加。
解决网络训练正常、测试显存爆炸的问题（model.eval()和torch.no_grad()的区别）
LJC的博客
07-27 5194
问题分析： 网络训练时正常，但测试中途却出现显存爆炸时。训练网络基本快占满了一张卡，这样测试时是有可能会显存爆炸。因为可能由于某张图测试的时候需要更大的显存，图像输入偏大等不确定因素。但测试的时候可以以更少的显存进行测试的。那就是使用**with torch.no_grad()**语句。测试代码修改大体如下所示： for i, image in enumerate(testLoader): # ...... (省略代码) with torch.no_grad(): # 主要将网络部分置于此即可
pytorch使用过程中的错误处理之内存溢出
greatwind的博客
07-13 3319
RuntimeError: CUDA out of memory. Tried to allocate 12.74 GiB (GPU 0; 14.76 GiB total capacity; 1.19 GiB already allocated; 11.42 GiB free; 2.52 GiB reserved in total by PyTorch)
【踩坑】深度学习 Torch 爆显存的原因（显存不够用等问题）
weixin_37879562的博客
11-04 3万+
简介 在深度学习过程中，使用显卡的情况主要有两个过程：一、网络模型训练过程；二、网络模型测试过程。在这两个过程中，都可能存在爆显存或者爆内存的情况。在编程过程中，有很多同学应该都遇到这种情况，本文提供了针对这些问题的解决方案供大家参考。 正常情况下无论是训练还是测试，显卡占用的显存资源不会大范围波动。 情况1 训练过程中爆显存 在训练过程中，如果出现显存不够用的情况，可以先分析具体什么情况。 （1）如果瞬间爆掉显存，很大可能是因为显卡加载模型并载入训...
解决pytorch训练时正常测试时爆显存的问题
qq_34597253的博客
10-28 3530
问题： Runtime Error: CUDA out of memory. 解决方案： 1.降低batch_size, 有时候管用，有时候不管用 2. 测试时，with torch.no_grad() def early_test(self): with torch.no_grad(): self.model.eval() for path i...
【报错解决】深度学习模型训练时cuda内存足够但测试时反而报错cuda out of memory
小白冲鸭的博客
06-07 1294
第一行代码初始化模型，在cpu上进行，第二行代码，首先torch.load函数将模型参数加载到cpu上，然后model.load_state_dict函数加载模型到cpu上，第三行代码直接将整个模型放到gpu上，避免了重复加载模型参数，节省了gpu内存，就不会再造成cuda内存不够而报错了，第四行代码是将模型进行并行化处理，也就是说，如果你有多块gpu的话，这行代码可以将模型复制到多块gpu上进行并行化计算，当然如果你只有一块gpu或只有cpu，加了这行代码也没什么影响，不会报错。
pytorch训练模型内存溢出
yilvyangguang520的博客
11-23 463
pytorch训练模型内存溢出
windows pytorch解决两个GPU同时训练问题
03-28
<think>好的，我需要帮助用户在Windows系统上配置PyTorch的双GPU训练，使用DistributedDataParallel（DDP）。首先，我得回忆一下DDP的基本概念和步骤。根据用户提供的引用内容，DDP适用于单机多卡和多机多卡场景，比DataParallel更高效。引用[2]提到DDP的优势，而引用[3]则给出了初始化进程组和模型封装的示例。 首先，用户的环境需要满足PyTorch版本和CUDA的支持。Windows上的PyTorch安装可能需要通过pip或conda，并且要确认CUDA版本是否匹配。然后，DDP的关键步骤包括初始化进程组、分配每个进程到不同的GPU、封装模型以及数据的分发。 接下来，用户可能遇到的问题包括环境配置是否正确，如何正确启动多进程脚本，以及数据集的分配方式。例如，引用[3]中提到使用torchrun来启动脚本，并指定GPU数量。在Windows中，可能需要调整命令的参数，或者检查是否支持多进程启动。 另外，数据并行处理需要确保每个GPU上的数据是独立的，使用DistributedSampler来分割数据集。这涉及到在DataLoader中设置sampler参数，并设置shuffle为False，以避免数据重复。同时，每个epoch前需要调用sampler.set_epoch(epoch)来保证随机性。 还要注意，模型在每个进程中需要被正确移动到对应的GPU，并通过DistributedDataParallel封装。引用[3]中的例子展示了如何获取当前rank，并将模型和数据放到对应的GPU上。 最后，验证配置是否正确，可以通过简单的训练脚本测试两个GPU是否都被利用，观察内存占用和日志输出。如果有错误，可能需要检查CUDA_VISIBLE_DEVICES的设置，或者是否有端口冲突。 总结步骤：安装环境，编写脚本初始化进程，配置模型和数据，启动训练命令，验证结果。需要确保每一步都正确，特别是在Windows环境下可能存在的路径或命令差异。</think>在Windows系统上使用PyTorch进行双GPU分布式训练（DDP）的配置步骤如下： --- ### 1. **环境准备** - **PyTorch版本**：确保安装PyTorch 1.10+（支持Windows的DDP），推荐使用CUDA 11.x版本。 - **CUDA与显卡驱动**：确认NVIDIA驱动支持CUDA版本，且两个GPU均可见。可通过`nvidia-smi`命令验证。 --- ### 2. **代码配置** #### **2.1 初始化进程组** ```python import torch import torch.distributed as dist from torch.nn.parallel import DistributedDataParallel as DDP def setup(rank, world_size): # 设置主节点地址和端口（Windows需指定backend为'gloo'） dist.init_process_group( backend='gloo', # Windows下通常使用gloo，而非nccl init_method='tcp://localhost:12345', # 本地通信端口 rank=rank, world_size=world_size ) ``` #### **2.2 模型封装** ```python model = YourModel().to(rank) # 将模型移动到当前GPU ddp_model = DDP(model, device_ids=[rank]) # 封装为DDP模型 ``` #### **2.3 数据加载** ```python from torch.utils.data import DataLoader, Dataset from torch.utils.data.distributed import DistributedSampler dataset = YourDataset() sampler = DistributedSampler(dataset, num_replicas=world_size, rank=rank) dataloader = DataLoader(dataset, batch_size=32, sampler=sampler, shuffle=False) ``` --- ### 3. **训练脚本结构** ```python import os def main(rank, world_size): setup(rank, world_size) # 模型、数据加载器初始化 model = YourModel().to(rank) ddp_model = DDP(model, device_ids=[rank]) dataloader = get_dataloader(rank, world_size) # 训练循环 for epoch in range(epochs): sampler.set_epoch(epoch) # 确保每个epoch数据随机性不同 for batch in dataloader: inputs, labels = batch inputs = inputs.to(rank) labels = labels.to(rank) outputs = ddp_model(inputs) loss = loss_fn(outputs, labels) loss.backward() optimizer.step() if __name__ == "__main__": world_size = 2 # GPU数量 torch.multiprocessing.spawn( main, args=(world_size,), nprocs=world_size, join=True ) ``` --- ### 4. **启动训练** 在命令行中运行（需确保脚本名为`train.py`）： ```bash python -m torch.distributed.launch --nproc_per_node=2 train.py ``` 或使用`torchrun`（PyTorch 1.10+）： ```bash torchrun --nproc_per_node=2 train.py ``` --- ### 5. **注意事项** 1. **后端选择**：Windows下优先使用`gloo`后端（而非`nccl`），因`nccl`对Windows支持有限[^3]。 2. **端口冲突**：若出现`Address already in use`错误，需更换`init_method`中的端口号（如`12345`→`23456`）。 3. **数据随机性**：通过`DistributedSampler`分割数据集，且每个epoch调用`set_epoch`保证随机性[^2]。 4. **调试技巧**：通过`print(f"Rank {rank}: data processed")`输出日志，观察各GPU是否正常工作。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值