加载模型参数到使用 DataParallel(model) 的模型的两种方法的代码

最新推荐文章于 2024-06-07 21:58:44 发布
最新推荐文章于 2024-06-07 21:58:44 发布
阅读量1k 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xdhsCS_cv_ml/article/details/114406409

load model weights into DataParallel(model) 的两种方法的代码

方法一
G = Generator().to(device)
G.load_state_dict(torch.load(args.model_path))
G = nn.DataParallel(G) # 这样在传递时 G 的参数会被重置吗？经测试，没有明显差别
方法二
G = Generator().to(device)
G = nn.DataParallel(G)
G.module.load_state_dict(torch.load(args.model_path))

两行代码搞定Pytorch多GPU深度学习（DataParallel）
叫我咸鱼就好
03-29 1172
当单张显卡无法满足深度学习的训练要求时，可以尝试增加显卡数量。比如当我们想增加batch size，但单张显卡的显存不足时，就需要增加显卡。在Pytorch中调用多张显卡并没有多么麻烦，只需要修改以下部分： 允许显示哪些显卡，在代码开头加入：import os os.environ['CUDA_VISIBLE_DEVICES'] = "0, 1, 2, 3" # 调用四张显卡，显卡编号分别为为0...
torch的DataParallel保存的模型如何载入
weixin_43745072的博客
12-10 638
使用DataParallel保存的模型在保存后载入的时候存在权重不匹配的问题，原因是每层的参数是 会比原来多一个module的设置。 import torch from collections import OrderedDict#python自带的库 state_dict=torch.load(config.model_save_path+"_best")["model"]#我的权重存储在文件的model字段里面的 ''' state = { 'model': model
加载 DataParallel封装模型的训练权重
m0_48209770的博客
03-07 527
如果您在训练时使用了 DataParallel，则加载的权重文件可能包含额外的模块前缀（如 module）。您需要处理这些前缀以匹配您的模型。
pytorch使用DataParallel并行化保存和加载模型（单卡、多卡各种情况讲解）
小白冲鸭的博客
06-07 2028
话不多说，直接进入正题。！！！不过要注意一点，本文保存模型采用的都是，而不是保存整个模型的情况。一定要看清楚再用啊！
Pytorch并行计算(一): DataParallel
芒果干的博客
10-08 6206
文章目录PyTorch并行计算1. 官网实例2. 使用方法3. 运行过程4. 源代码解读 PyTorch并行计算 nn.DataParallel 1. 官网实例 PyTorch官网的例子:DATA PARALLELISM PyTorch官网的手册:torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0) 2. 使用方法 具体使用也比较简单，如下所示，其余的不需要变化 # 当不限制GPUs的个数时，默认使用全部的GPU
使用DataParallel和DistributedDataParallel的两种多GPU分布式训练方法包含加载单GPU和多GPU保存的预训练模型权重的迁移学习
leigm
09-15 934
使用DataParallel和DistributedDataParallel的两种多GPU分布式训练方法包含加载单GPU和多GPU保存的预训练模型权重的迁移学习
基于pytorch的保存和加载模型参数的方法
09-18
在PyTorch中，保存和加载模型参数是训练过程中至关重要的步骤，这使得我们能够持久化模型，并在后续使用时避免重复训练。本篇文章将详细解释两种不同的方法，以帮助你理解和实施这些操作。 ### 方式一：保存与加载...
pytorch 使用加载训练好的模型做inference
09-17
`k.replace('module.', '')`这行代码是为了防止使用`torch.nn.DataParallel`训练的模型在加载时出现错误，特别是当模型是从多GPU环境迁移到单GPU或CPU环境时。 ### 步骤三：设置模型为推理模式 在推理之前，还需要...
Pytorch训练过程中改变模型参数 requires_grad 属性
01-20
标题和描述中提到的方法主要针对两种情况： 1. **单GPU训练**： 在单个GPU上运行模型时，可以通过迭代`model.named_parameters()`来直接修改参数的`requires_grad`属性。例如，以下代码会将所有参数的`requires_...
pytorch 获取模型参数_[日常] PyTorch 预训练模型，保存，读取和更新模型参数以及多 GPU 训练模型...
weixin_39610759的博客
12-21 373
本文用于记录如何进行 PyTorch 所提供的预训练模型应如何加载，所训练模型的参数应如何保存与读取，如何冻结模型部分参数以方便进行 fine-tuning 以及如何利用多 GPU 训练模型。(各位收藏的时候, 麻烦顺手点个赞同吧)目录PyTorch 预训练模型保存模型参数读取模型参数冻结部分模型参数，进行 fine-tuning模型训练与测试的设置利用 torch.nn.DataParallel...
【pytorch】torch.nn.DataParallel用法详解
sazass的博客
05-10 5万+
参考博客： https://blog.youkuaiyun.com/baidu_35120637/article/details/110785801 https://blog.youkuaiyun.com/zhjm07054115/article/details/104799661 https://blog.youkuaiyun.com/anshiquanshu/article/details/108186955 在多卡的GPU服务器，当我们在上面跑程序的时候，当迭代次数或者epoch足够大的时候，我们通常会使用nn.DataParallel
DataParallel(model)的相关研究
xdhsCS_cv_ml的博客
03-04 707
DataParallel(model)的相关研究 前提/已知：DataParallel用于多GPU并行计算， 问题：那如果先用2个GPU来 training DataParallel(model)并保存权重，再load该权重到使用4个GPU来 training 的 DataParallel(model) 上，会不会报错？ 探究/实验设计： 先用2gpu训练一个模型两天，并保存整个DataParallel(model)而非model的权重。 然后，用 1 个GPU初始化 DataParallel(model
nn.DataParallel
Zsusan7的博客
04-23 1099
nn.DataParallel 是 PyTorch 中的一个模块，用于在多个 GPU 上并行运行模型。当有多个 GPU 并且想要利用它们来加速训练或推理时，这个模块会非常有用。nn.DataParallel 通过对模型中的每个子模块进行复制，并将输入数据分割成多个部分，然后在每个 GPU 上并行处理这些部分来实现并行化。
DataParallel使用
qq_37950540的博客
06-08 3534
DataParallel' object has no attribute https://github.com/yysijie/st-gcn/issues/83 self.model.extract_feature -> self.model.module.extract_feature pytorch 多GPU训练总结（DataParallel的使用） https://blog...
DataParallel layers (multi GPU)
doublechenchenchen的博客
05-17 1532
import torch.nn as nnimport torch.nn.parallelimport torch.backends.cudnn as cudnnmodel = nn.DataParallel(model)
GAN入门｜第四篇：生成手势图像｜可控制生成
“365天深度学习训练营”报名进行中～
07-30 1441
🏡 我的环境：👉考虑到大家算力有限，这里为大家提供我已经训练好生成器模型，大家可自行下载🚀 深度学习新人必看：🚀 往期精彩内容：条件生成对抗网络（CGAN）是在生成对抗网络（GAN）的基础上进行了一些改进。对于原始GAN的生成器而言，其生成的图像数据是随机不可预测的，因此我们无法控制网络的输出，在实际操作中的可控性不强。 针对上述原始GAN无法生成具有特定属性的图像数据的问题，Mehdi Mirza等人在2014年提出了条件生成对抗网络，通过给原始生成对抗网络中的生成器G和判别器D增加额外的条件，例
PyTorch DataParallel的一些坑点和使用技巧
qq_43714612的博客
08-03 8537
1. 报错PyTorch DataParallel RuntimeError: expected device cuda:1 but got device cuda:0 原因是直接使用了DataParallel作为神经网络。 # 可能报错的写法 model = DataParallel(Res_Net()) out = model(input) # 解决办法 model = DataParallel(Res_Net()) model = model.modukle() out = model(input)
Pytorch的nn.DataParallel详细解析
qq_38410428的博客
08-04 2万+
前言 pytorch中的GPU操作默认是异步的，当调用一个使用GPU的函数时，这些操作会在特定设备上排队但不一定在稍后执行。这就使得pytorch可以进行并行计算。但是pytorch异步计算的效果对调用者是不可见的。 但平时我们用的更多其实是多GPU的并行计算，例如使用多个GPU训练同一个模型。Pytorch中的多GPU并行计算是数据级并行，相当于开了多个进程，每个进程自己独立运行，然后再整合在一起。 device_ids = [0, 1] net = torch.nn.DataParallel(net,
pytorch中load和load_state_dict区别
热门推荐
东方佑
05-06 13万+
简单的解析
初始化好的模型不加nn.DataParallel，在load_state_dict会出现找不到层名称
最新发布
03-08
<think>嗯，用户问的是关于PyTorch模型在加载state_dict时出现找不到层名称的问题，尤其是在使用nn.DataParallel的情况下。首先，我需要回忆一下nn.DataParallel的工作原理。当用DataParallel包装模型后，模型会被复制到多个GPU上，每个前向传播会被分散到这些GPU上执行。这会导致模型参数的名称发生变化，比如原来的"layer1.weight"会变成"module.layer1.weight"，因为DataParallel会给原始模型添加一个"module"的前缀。 用户提到初始化好的模型没有加DataParallel，但在加载state_dict时出现问题。可能的情况是，用户保存模型时使用了DataParallel，而加载时没有使用，导致参数名称不匹配。或者反过来，保存时没有用，加载时用了。这时候state_dict的键名会有"module."前缀，而当前模型没有这个前缀，所以找不到对应的层。 接下来，我需要考虑用户可能的操作步骤。比如，用户可能在训练时用了DataParallel，保存了模型，然后在加载时没有用DataParallel，导致键名不匹配。这时候需要去除"module."前缀才能正确加载。 另外，用户可能在加载state_dict时，模型结构有变化，比如层名称被修改过，或者模型结构不一致，导致某些层不存在。但结合用户的问题，更可能的是DataParallel带来的前缀问题。 解决方法通常有两种：一是在加载state_dict时，手动去除键名中的"module."前缀；另一种是在加载时，将模型用DataParallel包装，保持键名一致。或者，如果在保存模型时先去除DataParallel，保存原始模型的state_dict，这样加载时就不需要处理前缀了。 还需要考虑用户是否了解这些处理方式，可能需要给出具体的代码示例，比如使用`state_dict = {k.replace('module.', ''): v for k,v in state_dict.items()}`来修改键名，然后再加载。或者建议用户在保存模型时使用`model.module.state_dict()`来保存不带前缀的参数。 另外，可能还有其他情况，比如多GPU训练后保存模型，然后在单GPU环境下加载，这时同样需要处理键名。需要提醒用户注意环境的一致性，或者提供灵活的加载方法。 还需要验证这些解决方法是否有效，比如在加载前打印state_dict的键名，确认是否有"module."前缀，然后进行处理。这有助于用户调试和确认问题所在。 总结来说，用户的问题根源在于使用DataParallel导致的参数名前缀变化，解决方法是调整state_dict的键名，使其与当前模型的结构匹配。需要分步骤说明原因和解决方法，并提供代码示例，帮助用户理解和应用。</think>以下是关于模型未使用`nn.DataParallel`时加载`state_dict`出现层名称错误的原理分析与解决方案： --- ### **问题本质** 当使用`nn.DataParallel`包装模型后，PyTorch会自动在所有原始参数名前添加`module.`前缀。若加载时未保持相同的包装结构，会出现键名不匹配： $$ \text{原始参数名} \xrightarrow{\text{DataParallel}} \text{module.原始参数名} $$ --- ### **核心原因** - **保存时带DataParallel，加载时未带** 保存的`state_dict`键为`module.conv1.weight`，但当前模型的键为`conv1.weight` - **跨设备加载** 单卡保存的模型直接加载到多卡环境（或反向操作） --- ### **分步解决方案** #### **方案1：手动去除键名前缀** ```python # 加载保存的state_dict pretrained_dict = torch.load('model.pth') # 删除所有键中的'module.' new_dict = {k.replace('module.', ''): v for k, v in pretrained_dict.items()} # 加载到当前模型 model.load_state_dict(new_dict) ``` --- #### **方案2：动态适配包装状态** ```python # 根据当前设备决定是否包装 if torch.cuda.device_count() > 1: model = nn.DataParallel(model) else: model = model # 保持原样 model.load_state_dict(torch.load('model.pth')) ``` --- #### **方案3：保存时统一格式** **推荐的标准保存方式**： ```python # 保存时剥离DataParallel外壳 if isinstance(model, nn.DataParallel): torch.save(model.module.state_dict(), 'model.pth') # 保存纯参数 else: torch.save(model.state_dict(), 'model.pth') ``` --- ### **验证工具** ```python # 打印两个state_dict的键差异 loaded_keys = set(pretrained_dict.keys()) current_keys = set(model.state_dict().keys()) print("多余的键:", loaded_keys - current_keys) print("缺失的键:", current_keys - loaded_keys) ``` --- ### **典型错误场景演示** ```python # 错误流程示例 # 训练时（多GPU环境） model = nn.DataParallel(MyModel()) torch.save(model.state_dict(), 'model.pth') # 键名带module. # 推理时（单GPU环境） model = MyModel() # 未包装DataParallel model.load_state_dict(torch.load('model.pth')) # 报错 ``` --- ### **高级技巧：部分加载** 当模型结构有变化时，选择性加载匹配参数： ```python pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model.state_dict()} model.load_state_dict(pretrained_dict, strict=False) ``` --- ### **多设备兼容建议** 1. 始终使用`model.module.state_dict()`保存核心参数 2. 加载时通过`map_location`参数指定设备： ```python torch.load('model.pth', map_location='cuda:0') ``` 建议优先采用方案3的标准保存方式，可从根本上避免键名污染问题。如果问题仍然存在，请提供具体的`state_dict`键对比信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xdhsCS_cv_ml

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值