DataParallel使用

最新推荐文章于 2025-07-29 17:26:36 发布

转载最新推荐文章于 2025-07-29 17:26:36 发布 · 3.5k 阅读

文章标签：

#dataparallel #torch #pytorch

pytorch 专栏收录该内容

23 篇文章

订阅专栏

本文详细介绍了PyTorch中使用DataParallel进行多GPU训练的方法，包括如何解决'object has no attribute'错误，以及如何正确地将模型分配到多个GPU上运行。通过实例代码，展示了如何在多设备环境下实现模型的并行处理，提高训练效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

DataParallel' object has no attribute

https://github.com/yysijie/st-gcn/issues/83

self.model.extract_feature -> self.model.module.extract_feature

pytorch 多GPU训练总结（DataParallel的使用）

https://blog.youkuaiyun.com/weixin_40087578/article/details/87186613

if arg.cuda:
    model=model.cuda()  #这里将模型复制到gpu ,默认是cuda('0')，即转到第一个GPU 2
if len(device_id)>1:
    model=torch.nn.DaraParallel(model);#前提是model已经.cuda() 了

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

gorgeous___youth

关注关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

使用DataParallel和DistributedDataParallel的两种多GPU分布式训练方法包含加载单GPU和多GPU保存的预训练模型权重的迁移学习

leigm

09-15

952

使用DataParallel和DistributedDataParallel的两种多GPU分布式训练方法包含加载单GPU和多GPU保存的预训练模型权重的迁移学习

参与评论您还未登录，请先登录后发表或查看评论

pytorch 多GPU训练总结（DataParallel的使用）

爱在深秋

09-02

1271

博主最近搭建网络的时候，需要调用不同的GPU，实现训练的加速，有时间会出现显卡现存分布不均的情况，有时间有的显卡温度特别高。[source]在模块级别上实现数据并行。此容器通过将mini-batch划分到不同的设备上来实现给定module的并行。在forward过程中，module会在每个设备上都复制一遍，每个副本都会处理部分输入。在backward过程中，副本上的梯度会累加到原始module上。batch的大小应该大于所使用的GPU的数量。

【深度学习解惑】在 PyTorch 中 DataParallel vs. DistributedDataParallel 对 Inception 有哪些细节坑？

人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享

06-03

1007

在Inception架构中，DDP相比DP具有显著的性能优势和技术合理性。实验表明，通过适当的同步批归一化和通信优化，DDP可实现近线性的扩展效率。建议后续研究关注动态图结构下的自适应并行策略，以进一步提升复杂网络架构的训练效率。

【pytorch】torch.nn.DataParallel用法详解

热门推荐

sazass的博客

05-10

5万+

参考博客： https://blog.youkuaiyun.com/baidu_35120637/article/details/110785801 https://blog.youkuaiyun.com/zhjm07054115/article/details/104799661 https://blog.youkuaiyun.com/anshiquanshu/article/details/108186955 在多卡的GPU服务器，当我们在上面跑程序的时候，当迭代次数或者epoch足够大的时候，我们通常会使用nn.DataParallel

pytorch使用DataParallel加速（包括RNN疑难杂症处理）

AnUnverse的博客

07-28

2270

DataParallel的基本使用方法很简单，只需设置device_ids即可，如下所示： device_ids = [0, 1, 2, 3] model = torch.nn.DataParallel(model, device_ids=device_ids) device_ids为你要使用的GPU号。如果你未使用DataParallel之前用的便是单GPU进行训练，那么对于数据不需要额外的操作，否则，你需要将模型的输入数据转移到cuda上，如： # 此处device与device_ids无关，

nn.DataParallel使用注意

Njhbsj的博客

03-14

991

nn.DataParallel 如果默认不是序号0的话需要添加 os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" os.environ["CUDA_VISIBLE_DEVICES"] = "2, 3" device_ids = [0, 1] model = torch.nn.DataParallel(net, device_ids=device_ids) model.cuda() 优化器同样可以 optimizer = torch.optim.SGD(ne

PyTorch学习（3）：并行训练DataParallel与DistributedDataParallel

tecsai的博客

03-29

2080

在使用pytorch训练网络时，一般都会使用多GPU进行并行训练，以提高训练速度，一般有单机单卡，单机多卡，多机多卡等训练方式。这就会使用到pytorch提供的DataParallel(DP)和DistributedDataParallel(DDP)这两个函数来实现。

动手学深度学习——数据并行，nn.DataParallel

iwill323的博客

09-25

2401

数据并行案例 nn.DataParallel

pytorch单机多卡训练_数据并行DataParallel

m0_52474839的博客

05-12

2177

单卡多级的模型训练，即并行训练，可分为数据并行和模型并行两种.数据并行是指，多张 GPUs 使用相同的模型副本，但采用不同 batch 的数据进行训练.模型并行是指，多张 GPUs 使用同一 batch 的数据，分别训练模型的不同部分.

DataParallel

weixin_38530843的博客

11-25

408

详解Pytorch的nn.DataParallel_zandaoguang的博客-优快云博客

Pytorch并行计算(一): DataParallel

芒果干的博客

10-08

6229

文章目录PyTorch并行计算1. 官网实例2. 使用方法3. 运行过程4. 源代码解读 PyTorch并行计算 nn.DataParallel 1. 官网实例 PyTorch官网的例子:DATA PARALLELISM PyTorch官网的手册:torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0) 2. 使用方法具体使用也比较简单，如下所示，其余的不需要变化 # 当不限制GPUs的个数时，默认使用全部的GPU

Balanced-DataParallel:这里是改进了pytorch的DataParallel，使用了平衡第一个GPU的显存使用量

03-21

平衡数据并行这里是改进了pytorch的DataParallel，使用了平衡第一个GPU的显存使用量本代码来自transformer-XL： : 代码不是本人写的，但是感觉很好用，就分享一下。怎么使用：这个BalancedDataParallel类使用起来和DataParallel类似，下面是一个示例代码： my_net = MyNet() my_net = BalancedDataParallel(gpu0_bsz // acc_grad, my_net, dim=0).cuda() 这里包含三个参数，第一个参数是第一个GPU要分配多大的batch_size，但是要注意，如果您使用了渐变累积，那么此处替换的是每次进行运算的实际batch_size大小。举个例子，比如你在3个GPU上面跑代码，但是一个GPU最大只能跑3条数据，但是因为0号GPU还要做一些数据的整合操作，于是0

PyTorch中DistributedDataParallel使用笔记

人无远虑，必有近忧

09-22

794

在pytorch中的多GPU训练一般有2种DataParallel和DistributedDataParallel，DataParallel是最简单的的单机多卡实现，但是它使用多线程模型，并不能够在多机多卡的环境下使用，所以本文将介绍DistributedDataParallel，DDP 基于使用多进程而不是使用多线程的DP，并且存在GIL争用问题，并且可以扩充到多机多卡的环境，所以它是分布式多GPU训练的首选。

DataParallel (DP) & DistributedDataParallel (DDP)

最新发布

蜡笔小晴

07-29

345

是将总 batch size 均分至每个 GPU 的实现方式，而。则是每个 GPU 独立设置 batch size。在 PyTorch 中，

pytorch 多卡训练--DataParallel

chuansailang4709的博客

03-15

1940

用pytorch进行多GPU训练，只需要学会把单卡训练的代码稍微改一下即可。不模型用DataParallel包装一下： device_ids = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] # 10卡机 model = torch.nn.DataParallel(model, device_ids=device_ids) # 指定要用到的设备 model = model.cuda(device=device_ids[0]) # 模型加载到设备0 数据也指定设备： X_train

PyTorch单机多卡训练（DataParallel）

old_power的博客

03-28

736

PyTorch单机多卡训练（DataParallel）

DataParallel 笔记

jacke121的专栏

09-25

2724

DataParallel if arg.cuda: model=model.cuda() #这里将模型复制到gpu ,默认是cuda('0')，即转到第一个GPU 2 if len(device_id)>1: model=torch.nn.DaraParallel(model);#前提是model已经.cuda() 了在 pytorch 多GPU训练下，存储整个模型（而不是model.state_dict() ）后再调...

nn.dataparallel使用

12-27

### 正确使用 PyTorch `nn.DataParallel` 进行多 GPU 训练 #### 初始化模型与 DataParallel 为了利用多个 GPU 加速训练，在定义好神经网络模型之后，可以将该模型封装进 `nn.DataParallel` 类中。此操作会自动复制模型到所有可用的 GPU 上，并在前向传播过程中平均划分输入数据批次。 ```python import torch import torch.nn as nn model = YourModelClass() # 替换为实际使用的模型类名 if torch.cuda.device_count() > 1: print(f"Let's use {torch.cuda.device_count()} GPUs!") model = nn.DataParallel(model) device = 'cuda' if torch.cuda.is_available() else 'cpu' model.to(device) ``` 这段代码检查是否有超过一个 GPU 可用；如果有，则打印出可使用的 GPU 数量并将模型转换为 `DataParallel` 实例[^2]。 #### 数据加载器设置当采用 `DataParallel` 来分布工作负载时，重要的是要确保 DataLoader 的 num_workers 参数被适当地配置以最大化性能收益： ```python from torch.utils.data import DataLoader, Dataset train_loader = DataLoader( dataset=YourDataset(), # 自定义的数据集实现 batch_size=BATCH_SIZE, shuffle=True, num_workers=os.cpu_count(), # 利用尽可能多的核心来预处理/加载数据 pin_memory=True # 如果目标设备是GPU则开启pin_memory选项 ) ``` 这里设置了 `num_workers` 和 `pin_memory` 参数以优化 I/O 性能，特别是对于大型图像或视频数据集而言非常有用[^4]。 #### 模型保存与恢复注意事项由于 `DataParallel` 将模块包装在一个新的容器内，因此直接调用 `.state_dict()` 方法得到的状态字典会在键前面加上 `'module.'` 前缀。如果打算稍后仅在一个 GPU 或 CPU 上继续训练或推理，就需要移除这些额外的字符串部分: ```python def save_checkpoint(state, filename='checkpoint.pth.tar'): """Save checkpoint.""" torch.save(state, filename) def load_checkpoint(checkpoint_path, model): """Load checkpoint and adapt it for further usage on different device setups""" state_dict = torch.load(checkpoint_path)['state_dict'] from collections import OrderedDict new_state_dict = OrderedDict() for k, v in state_dict.items(): name = k[7:] if k.startswith('module.') else k # 移除'module.' new_state_dict[name] = v model.load_state_dict(new_state_dict) return model ``` 上述辅助函数展示了如何安全地存储和读取由 `DataParallel` 创建的模型状态字典，同时考虑到未来可能存在的硬件变化需求[^3]。