nn.DataParallel失效卡死，无输出

最新推荐文章于 2024-04-28 17:22:43 发布
原创 最新推荐文章于 2024-04-28 17:22:43 发布 · 2.3k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #pytorch #人工智能

部署运行你感兴趣的模型镜像

解决nn.DataParallel失效卡死，无输出


pytorch中的nn.DataParallel可以进行单机多卡训练。如果确实有多个可用的显卡，

torch.cuda.device_count() >1

但程序卡死在跳转到自定义模型的forward()这一步，且没有任何输出，则可能是没有将模型变成module。

即在

model = MyNetwork()#自定义的神经网络模型
model = nn.DataParallel(model)

之后，还需

model = model.module

此外优化器(optimizer)也需要使用module。

optimizer = nn.DataParallel(optimizer)
optimizer.module.step()

您可能感兴趣的与本文相关的镜像

ACE-Step

ACE-Step

音乐合成
ACE-Step

ACE-Step是由中国团队阶跃星辰（StepFun）与ACE Studio联手打造的开源音乐生成模型。 它拥有3.5B参数量，支持快速高质量生成、强可控性和易于拓展的特点。 最厉害的是，它可以生成多种语言的歌曲，包括但不限于中文、英文、日文等19种语言

studyduts
关注
torch.nn.parallel.DistributedDataParallel使用中卡在第一个epoch的原因之一
jiongta9473的博客
01-09 2452
torch.nn.parallel.DistributedDataParallel的模型在进行eval()的时候必须加上with torch.no_grad()，否则就会导致一个卡卡死在运行eval()后的代码，而其他卡仍然在进行训练，其他卡不再等这个进行eval()的卡。 在使用中有一个地方很容易错误，代码如下： if int(os.environ.get('RANK')) == 0: with torch.no_grad(): # print('dd0')
pytorch 分布式实践（一）
jaffe的博客
05-15 447
学习资源 实践踩坑 1，model = torch.nn.parallel.DistributedDataParallel(model, device_ids=[args.local_rank]) 卡住不动 python -u -m torch.distributed.launch --nproc_per_node=2 train_single_label.py --batch_size=4 --data_path=/mnt/dataset --model_name=mobilenetv3_large_10
Pytorch使用nn.DataParallel失效：只能使用单GPU / 无法使用多GPU训练
学习 & 分享 ~
05-13 7580
官方文档： torch.nn.DataParallelDataParallel 在 Module 级别实现并行计算，关于使用了 DataParallel 而实际训练时不起作用（只能使用单 GPU）的可能原因：1. 设置的 Batch Size 小于可用的 GPU 数量，这一点在官方文档中也有说明： 需要保证大于使用的 GPU 数量。2. 未使用 nn.Module 的默认 forward() 方法执行前向传播。一般情况下，定义的 Model 继承自 ，在进行前向传播时，调用 函数，能够进行多 GPU 并行
torch.nn.DataParalle多GPU运行时第一个epoch卡住问题
weixin_46786533的博客
09-03 2175
使用nvidia-smi查看GPU状态时，会有一个GPU一直100%，另一个GPU0%一直保持不变。
关于使用torch.dataparallel时锁死的解决办法
ayasa~的博客
05-02 979
1 大致情况是这样的，就是在训练中通过torch.dataparallel时进行了训练，这个时候会出现不报错，也不显示任何进展的问题。这种情况可能一开始训练就会出现，也有可能再重新训练时出现。当终止进程时会出现 Process finished with exit code 137 (interrupted by signal 9: SIGKILL 然后我去查看gpu的使用情况，主显卡（用于加载模型）显存已经占用了一部分，说明模型已经加载进去了。而并行gpu却基本没有显存占用，说明数据没有被加载进去，问题
低功耗唤醒失败？RTC、WFI与电源管理协同机制的4大盲点揭秘
![低功耗唤醒失败？...# 1. 低功耗唤醒机制的基本原理与系统架构 在嵌入式系统中，低功耗唤醒机制是实现能效优化的核心环节。其基本原理在于通过关闭高功耗模块（如CPU、主时钟、外设电源域），仅保留必要组件（如RTC...
【PCB布线黄金5法则】：初学者必须掌握的5大核心原则（90%新手都忽略的关键细节）
!...# 1. PCB布线的基本概念与核心意义 PCB布线是将电路原理图中的电气连接转化为实际物理走线的过程，其本质是在有限空间内实现信号、电源与地的高效互连。良好的布线不仅确保电路功能正确实现，更直接影响信号完整性...
电磁干扰（EMI）三要素深度揭秘：源头、传播路径与敏感设备的相互作用机制
!...# 1. 电磁干扰（EMI）的基本概念与研究意义 电磁干扰（Electromagnetic Interference, EMI）是指任何可能中断、阻碍或降低电子设备性能的电磁能量现象。随着电子系统向高频、高速、高集成度发展，EMI已成为影响...
Bootloader陷阱曝光：固件启动中硬件依赖性测试的4个致命盲区
!...# 1. Bootloader与固件启动机制的底层解析 ## 启动流程的分阶段演化模型 现代嵌入式系统上电后，首先执行的是固化在ROM中的**Boot ROM**代码，它由芯片厂商预置，负责最基础的硬件初始化并加载第一级Bootloader...
ESP32多核编程实现差异剖析：不同IDF版本下的任务调度性能对比
!...# 1. ESP32多核编程与IDF版本演进概述 ESP32作为物联网领域的主流嵌入式平台，其双核Xtensa架构为并行任务处理提供了硬件基础。随着ESP-IDF（Espressif IoT Development Framework）从v4.4到v
pytorch多卡分布式训练卡住的问题
剑启郁兰的博客
04-28 2909
最近需要模型进行多任务学习，完成代码后单卡跑是没有问题的。但是多卡跑基本上会出现卡在第一个迭代的情况。忙了一天总算是解决了。实际上，尝试了很多种方案，最后发现问题出现在这里。这部分内容具体参考如下。我的模型不执行前者，因而我是把这部分给删了，从而解决。知道原因，解答方案也比较明了，
nn.parallel.DistributedDataParallel报错，一块GPU时不报错
lbj23hao1的博客
01-12 1010
Warning: Traceback of forward call that caused the error: File "train_YnetV2_dist.py", line 273, in <module> pred_waypoint_map,pred_traj_map, pred_traj, pred_goal = model(feature_input,V_obs,A_obs,gt_waypoint_map) File "/gs/home/wangrp/anacon
torch.nn.DataParallel设置了仍然在一块卡上跑的问题
石开的博客
07-28 5389
问题：torch.nn.DataParallel设置之后，仍然在一块GPU上加载直到内存爆掉。 解决： 如果你的model包含encoder1，encoder2，decoder，discriminator等多个结果，应当对每个结构都用torch.nn.DataParallel包裹，而不是只对model进行包裹。 原来（出错）： model = MyModel.MyModel(opt).cuda() model.train() model = torch.nn.DataParallel(model) mode
pytorch 单机多卡--DistributedDataParallel+混合精度--提高速度，减少内存占用
cloudless_sky的博客
08-17 1546
混合精度，并行单机多GPU并行
pytorch 多机多卡卡住问题汇总
热门推荐
爱吃火锅的博客
01-28 2万+
前言 先说一下写这篇文章的动机，事情起因是笔者在使用pytorch进行多机多卡训练的时候，遇到了卡住的问题，登录了相关的多台机器发现GPU利用率均为100%，而且单卡甚至是单机多卡都没有卡住的现象，这就非常奇怪了。 于是乎开始搜索相关的帖子，发现很多帖子虽然也是卡住话题，但是和笔者的情况都不一样，最后开始去查一些国外的帖子以及pytorch github issue等等，发现了类似问题，而且这个问题确实很严重，截至目前都没有一个很好的快速debug方法解决。 所以这里就记录一下笔者查过的相关帖子以及遇
ST-GCN 复现：遇到多GPU并行训练时使用nn.DataParallel遇到的nn.ParameterList()为空的问题
Hakxia博客
05-08 909
近期复现ST-GCN代码时，发现遇到一个问题，其开源代码使用了 nn.DataParallel() 进行多 GPU 并行训练，同时使用 nn.ParameterList() 来构建参数列表；经过确认，这是pytorch的bug，原作者是在torch1.2上开源的代码，本人使用的是torch1.7，会有这个问题。
解决了PyTorch 使用torch.nn.DataParallel 进行多GPU训练的一个BUG:模型(参数)和数据不在相同设备上
nkhgl的博客
09-27 1730
https://blog.csdn.net/senius/article/details/96599955
讲解torch 多进程卡死
牛肉胡辣汤
12-10 1395
在使用torch进行多进程训练时，卡死问题可能会让我们很头疼。通过检查数据加载过程，正确处理数据共享，合理分配系统资源以及添加详细的日志和调试信息，我们可以及时发现问题并解决。希望本文提供的解决方案能够帮助你解决torch多进程卡死问题，并顺利完成训练任务。当使用PyTorch进行多进程训练时，在实际应用场景中，我们可以使用torch的DataLoader来加载训练数据，并使用将模型在多个GPU上进行并行加速。# 定义图像分类模型return x# 数据预处理])# 加载训练数据集。
torch.nn.DataParallel(model)
最新发布
12-12
在解决 `torch DataLoader` 出现 `RuntimeError` 后，使用 `torch.nn.DataParallel(model)` 可以实现多 GPU 并行训练。`torch.nn.DataParallel` 会自动将输入数据切分到多个 GPU 上，并将模型复制到每个 GPU 进行计算，最后将结果汇总。 ### 问题 在使用 `torch.nn.DataParallel(model)` 时，可能会遇到以下问题： - **模型和数据设备不匹配**：使用 `torch.nn.DataParallel` 进行多 GPU 训练时，所有属于模型参数的模块以及其子模块必须以 `nn.Module` 的类型注册为模型的属性。如果需要一个列表来批量存放子模块或者参数时，需采用 `nn.ModuleList` 或者 `nn.ModuleDict` 这样继承了 `nn.Module` 的类来进行定义，并且在 `forward(self,)` 前向传播的过程中，需要直接调用属于 `nn.Module`、`nn.ModuleList` 或者 `nn.ModuleDict` 这样的属性，否则会出现模型和数据不在相同设备上的错误[^1]。 - **内存不足**：多 GPU 并行训练会增加内存使用，如果 GPU 内存不足，可能会导致程序崩溃。 ### 使用方法 以下是使用 `torch.nn.DataParallel(model)` 的示例代码： ```python import torch import torch.nn as nn from torch.utils.data import DataLoader, Dataset # 定义一个简单的模型 class SimpleModel(nn.Module): def __init__(self): super(SimpleModel, self).__init__() self.fc = nn.Linear(10, 1) def forward(self, x): return self.fc(x) # 定义一个简单的数据集 class SimpleDataset(Dataset): def __init__(self): self.data = torch.randn(100, 10) self.labels = torch.randn(100, 1) def __len__(self): return len(self.data) def __getitem__(self, idx): return self.data[idx], self.labels[idx] # 创建数据集和数据加载器 dataset = SimpleDataset() dataloader = DataLoader(dataset, batch_size=10, shuffle=True) # 创建模型 model = SimpleModel() # 检查是否有多个 GPU if torch.cuda.device_count() > 1: print(f"Using {torch.cuda.device_count()} GPUs") model = nn.DataParallel(model) # 将模型移动到 GPU 上 model = model.cuda() # 定义损失函数和优化器 criterion = nn.MSELoss() optimizer = torch.optim.SGD(model.parameters(), lr=0.001) # 训练模型 for epoch in range(10): for inputs, labels in dataloader: inputs, labels = inputs.cuda(), labels.cuda() optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() print(f'Epoch {epoch+1}, Loss: {loss.item()}') ``` ###
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值