分布式训练模型保存torch.save()、加载model.load_state_dict问题解析：Missing key(s) in state_dict，Unexpected key()

PyTorch分布式训练模型保存与加载问题解析
已于 2022-12-02 01:16:41 修改
阅读量1.3k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Machine & Deep Learning 文章标签： 深度学习 人工智能
于 2022-11-18 15:06:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiangyong58/article/details/127921939
本文详细探讨了在PyTorch中，一块GPU和多块GPU训练模型时的保存与加载策略。对于多GPU训练的模型，由于参数名带有'module.'前缀，加载时需注意去除该前缀或使用strict=False选项。推荐的保存方法是在分布式训练时使用，以便在加载时不出现 KeyError。

一、一块GPU训练的模型：

保存

torch.save(model.state_dict(), PATH)

保存的keys格式如下：
在这里插入图片描述

加载到一块GPU/CPU的方法:

device = torch.device
了解本专栏 订阅专栏 解锁全文 超级会员免费看
人工智能大模型技术基础系列之：分布式模型存储与加载
AI天才研究院
10-15 603
近年来随着深度学习的火热，基于神经网络的深度学习模型在图像、文本、语音等领域越来越受欢迎。基于大数据处理的分布式计算平台的发展，使得训练和预测任务可以由不同节点的机器同时处理，并可以在异构硬件平台上高效运行，进而促进了模型的快速迭代更新。因此，如何将训练好的深度学习模型存储和加载到生产环境中成为了技术人员面临的一大难题。在人工智能领域，大模型的存储和加载是一个重要的问题。由于大模型通常包含数以亿计的参数，单机存储和加载可能会遇到内存限制和IO瓶颈的挑战。
分布式训练，DP,DDP，模型训练，模型加载（非常详细）
jialiyk的博客
04-14 1870
GPU 0将数据分成8份分到各个卡上，每张卡负责自己的那一份mini-batch的训练，得到grad后，返回给GPU 0上做累积，得到更新的权重参数后，再分发给各个卡。每个batch所有GPU计算完成后，再统一计算新权值，然后所有GPU同步新值后，在进行下一个batch计算。：8张以环形相连，每张卡都有左手卡和右手卡，一个负责接收，一个负责发送，分为Scatter Reduce和All Gather两个环节。：不同GPU输入相同的数据，运行模型的不同部分，比如多层网络的不同层。单机多卡：DP、DDP。
深度学习模型保存_深度学习分布式模型
weixin_39577908的博客
11-25 251
背景随着各大企业和研究机构在PyTorch、TensorFlow、Keras、MXNet等深度学习框架上面训练模型越来越多，项目的数据和计算能力需求急剧增加。在大部分的情况下，模型是可以在单个或多个GPU平台的服务器上运行的，但随着数据集的增加和训练时间的增长，有些训练需要耗费数天甚至数周的时间，我们拿COCO和Google最近Release出来的Open Image dataset v4来做比较...
CRNN-模型转换问题Missing Errorin loading state_dict for CRNN
weixin_52646021的博客
06-13 260
CRNN-pytorch模型转为libtorch模型的时候出现报错情况，
Pytorch model.load_state_dict()
热门推荐
zhangjipinggom的博客
08-22 2万+
1. 问题描述： 当运行到model.load_state_dict(torch.load(trained_model.pth)["state_dict"])时报错： Missing key(s) in state_dict: "conv1.weight", "bn1.weight", "bn1.bias", "bn1.running_mean", "bn1.running_var"... Un...
load_state_dict报错: Error(s) in loading state_dict for XXX: Missing keys(s) in state_dict: ....
gray___的博客
03-10 5002
1. 报错内容 /opt/tools/anaconda3/lib/python3.8/site-packages/torch/nn/modules/module.py in load_state_dict(self, state_dict, strict) 1221 1222 if len(error_msgs) > 0: -> 1223 raise RuntimeError('Error(s) in loading state_dict
我在运行fishspeech的load_model函数时，遇到了这个问题： raise ConfigKeyError(f"Missing key {key!s}") omegaconf.errors.ConfigAttributeError: Missing key load_state_dict full_key: load_state_dict object_type=dict
最新发布
07-20
在加载模型时遇到 `RuntimeError: Error(s) in loading state_dict` 或 `ConfigKeyError: Missing key` 等问题，通常与模型的 `state_dict` 或配置文件不匹配有关。以下是一些常见的原因及解决方法： ### 模型结构...
nn.Module 中的load_state_dict
weixin_44012667的博客
11-18 787
的主要功能是将一个包含模型参数（权重和偏置）的字典加载到当前模型中，以恢复或更新模型的状态。当需要加载部分参数时，可以手动修改。在 PyTorch 的。
RuntimeError: Error(s) in loading state_dic ，Missing key(s) in state_dict , Unexpected key(s)
flyingluohaipeng的博客
04-10 2221
RuntimeError: Error(s) in loading state_dict for SimpleDLA: Missing key(s) in state_dict: "base.0.weight", "base.1.weight", "base.1.bias", "base.1.running_mean", "base.1.running_var", "layer1.0.weight", "layer1.1.weight", "layer1.1.bias", "layer1.1.runnin
torch.save() or model.load_state_dict()有问题？都不是，是我数据集写错了
ld_long的博客
02-22 599
torch.save() or model.load_state_dict()有问题？都不是，是我数据集写错了 今天看pytorch 文档看到了参数或模型的保存，就想动手实践一下。然后神奇的问题出现了。 如果我训练完后立刻保存参数到磁盘，然后马上实例化一个新model并载入刚刚保存的参数，再用这个新的model作预测，预测正确率与训练时一样。但是如果我注释掉训练部分。直接实例化新model并载入参数。预测正确率不足1%。于是我就觉得是不是torch.save或者model.load_state_dict用法
pytorch 去除state_dict()中的某些层
litt1e的博客
11-25 3484
在finetun时，我们经常需要对pretrain model进行裁剪，到底如何做呢，下面直接上代码 import torch from collections import OrderedDict import os import torch.nn as nn def copyStateDict(state_dict): if list(state_dict.keys())[0].startswith('module'): start_idx = 1 else:
Pytorch 模型存储及加载 torch.save() model.load_state_dict(torch.load(PATH)) 保存checkpoint
Decennie的博客
08-01 1309
Pytorch 模型存储及加载 torch.save() model.load_state_dict(torch.load(PATH)) 保存checkpoint
分布式训练
Swift's Blog
08-11 5134
在面试中，遇到有些面试官会问分布式训练的有关问题，在此总结一下。 分布式训练的并行方式主要分如下两种： 数据并行：将数据集切分放到各计算节点，每个计算节点的计算内容完全一致，并在多个计算节点之间传递模型参数。数据并行可以解决数据集过大无法在单机高效率训练的问题，也是工业生产中最常用的并行方法。 模型并行：通常指将模型单个算子计算分治到多个硬件设备上并发计算，以达到计算单个算子计算速度的目的。一般会将单个算子的计算，利用模型并行的方式分配在配置相同的几个硬件上，进行模型存储和计算，以保证计算步调一致。 这
PyTorch模型的保存与加载
关于我的学习记录
12-06 5069
PyTorch模型的保存与加载
pytorch学习笔记（1）-模型保存和加载大全
chocv的博客
03-25 3925
pytorch模型的保存和加载网上已经有很多人进行详细讲解了，我这里只是记录一下本人的学习笔记，方便后续查看。 pytorch——模型的保存和加载1.模型的保存1.1 两种模型保存的方法1.2 模型保存的设备1.3 半精度保存1.4训练过程中checkpoint（检查点）的保存2.模型的加载3.分布式训练模型的保存和加载3.1模型的加载3.2模型的保存 1.模型的保存 1.1 两种模型保存的方法 1. torch.save(model, save_name) 2. torch.save(model.s
TypeError: load_state_dict() missing 1 required positional argument: ‘state_dict‘
关于我的学习记录
12-07 2148
TypeError: load_state_dict() missing 1 required positional argument: 'state_dict'
torch DDP训练-模型保存-加载问题
这些个事儿
09-16 1万+
单GPU保存与加载： 模型保存： ####方法一 state = {'epoch': epoch, 'model': model.state_dict(), 'optimizer': optimizer.state_dict(), 'scheduler': scheduler.state_dict()} torch.save(state, 'model_path') ####方法二 torch.save(self.model.state_dict.
加载模型报错Missing key(s) in state_dict:
qq_40071917的博客
06-21 1万+
引用 说明：比如我们之前定义的一个模型model_1，训练之后保存了模型参数，命名为checkpoint_1；然后我们在model_1的基础上修改了模型，在内部添加了一些新的参数（或者更改了参数的名称），命名为model_2，训练之后保存了模型参数，命名为checkpoint_2。 一般而言，我们在测试时，使用的模型model，要加载相应的模型参数信息，即checkpoint。 1，如果我们使用的模型是model_1，而加载的模型参数是checkpoint_2，这时可能会出现Unexpected key(
【代码笔记】解决加载模型错误方法总结RuntimeError: Error(s) in loading state_dict for Net: Missing key(s)
qq_37194898的博客
05-12 7641
加载模型错误： 有以下几种方法： 1.在载入模型参数前加上： model = nn.DataParallel(model) 2.更改torch版本 部分原因是模型之间torch版本不匹配导致，加载使用模型时和训练模型时的环境不一致，可以重新安装torch 3.增加load_state_dict()属性 model.load_state_dict(checkpoint['state_dict'], strict=False) ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xiangyong58

喝杯茶还能肝到天亮，共同进步

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值