pytorch DataParallel 多GPU使用

本文详细介绍了如何在PyTorch中设置单GPU和多GPU环境,包括环境变量配置、模型并行化、优化器并行化及参数更新,同时提供了加载多GPU预训练模型的具体步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

单GPU:

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0"

多GPU:

device_ids = [0,1,2,3]

model = model.cuda(device_ids[0])
model = nn.DataParallel(model, device_ids=device_ids)
optimizer = optim.SGD(model.parameters(), lr=learning_rate, momentum=0.9, weight_decay=0.001)
optimizer = nn.DataParallel(optimizer, device_ids=device_ids)
optimizer.module.step()
for param_lr in optimizer.module.param_groups:  # 同样是要加module
        #     param_lr['lr'] = param_lr['lr'] * 0.999

加载多GPU预训练模型

 model = ft_net()
    pretained_model = torch.load('./model/all/8_model.pkl')
    pretained_dict = pretained_model.module.state_dict()
    model = ft_net()

model.load_state_dict(pretained_dict)

作者:CS_lcylmh
来源:优快云
原文:https://blog.youkuaiyun.com/qq_19598705/article/details/80396325
版权声明:本文为博主原创文章,转载请附上博文链接!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值