【Pytorch】Pytorch加载训练好的模型报错记录

原创 已于 2022-02-25 14:52:36 修改 · 870 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #python

于 2020-11-11 14:05:10 首次发布
本文解决在Pytorch框架中使用DataParallel训练模型后，加载模型时出现的问题。通过将加载的模型再次包裹进DataParallel，成功解决了错误并使程序正常运行。

基于Pytorch深度学习框架下，
使用2张GPU训练模型

加载训练好的模型时，报错如下：

在这里插入图片描述
在这里插入图片描述
密密麻麻的提示，看得我头皮发麻。。。。

经过一番搜索，看到网上也有人遇到和我一样的问题：
博主原文如下：
https://blog.youkuaiyun.com/shiwanghualuo/article/details/101756876

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
博主给出了原因，并且给出了解决方案，我没有按照博主给出的方案进行解决问题，我感觉应该有更加简单得方法去解决。于是在网上继续寻找…

原博文：https://blog.youkuaiyun.com/tsq292978891/article/details/83586935
在这里插入图片描述
在这里插入图片描述
说实话，以上两位博主的解决方案，都不是我想要的，指直到看到这位博主的文章：
https://www.cnblogs.com/wildkid1024/p/13025352.html
在这里插入图片描述
加载训练好的模型model时，再将其放入torch.nn.DataParallel()不就搞定了！
在这里插入图片描述
加了红框这行代码，不报错了，程序可以正常运行了。

特此记录！

参考：
https://blog.youkuaiyun.com/shiwanghualuo/article/details/101756876

https://blog.youkuaiyun.com/Cloris_Sue/article/details/109569231

关于pytorch在训练模型时常见错误
MyHeartWillGoOn
04-02 2284
文章目录关于pytorch在训练模型时常见错误问题1问题2问题3问题4 np转int问题5 关于pytorch在训练模型时常见错误 问题1 【Pytorch】Expected hidden[0] size (2, 32, 256), got [2, 14, 256] 错误原因： 训练数据不能被批量大小整除造成的。 改正方法： 修改batchsize，让数据集大小能整除batchsize 如果使用Dataloader，设置一个参数drop_last=True，会自动舍弃最后不足batchsize的bat
系统学习Pytorch笔记十： 模型的保存加载、模型微调、GPU使用及Pytorch常见报错
Miracle8070
04-30 5913
Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html? Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/ 1. 写在前面 疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样...
Pytorch保存的模型加载失败问题
weixin_42915923的博客
10-13 1532
训练好的模型在另外一台电脑上加载时出现如下错误： 两台电脑的Pytorch、Pytorch、Spyder版本都是一样的，只不过报错的这个电脑的CUDA是11.3，跟Pytorch官网上支持的11.1有区别，虽然我在安装后测试时是可以正常使用的，但这有可能是潜在的问题来源。 网上的解决方法是将模型的Class import一下，但是我这里是已经import过的。 所以我这里将原电脑…/modules/linear.py替换了报错电脑的相同文件，然后不在报错。 ...
pytorch加载模型时报错
confuciust的专栏
09-26 1256
[转自]https://www.lizenghai.com/archives/4610.html pytorch加载模型时报错 RuntimeError: Error(s) in loading state_dict for DataParallel: Missing key(s) in state_dict: “module.backbone.layers.0.stage_1.layers.0....
Pytorch加载预训练模型时间过长
qq_38355184的博客
01-21 1131
Pytorch加载预训练模型时间过长 解决办法：Scipy包的版本为1.4.1，升级为最新的1.6.0后解决。
【pytorch】并行训练加载模型权重报错原因及解决方法
乐乐lelele的博客
06-29 1991
。
PyTorch中模型加载失败的报错与解决方案
最新发布
shejizuopin的博客
06-13 1616
摘要：本文总结了PyTorch模型加载失败的主要问题和解决方案。常见报错包括文件路径错误(OSError)、文件损坏(RuntimeError)、版本不兼容(RuntimeError)、结构不匹配(RuntimeError)、设备不匹配(RuntimeError)和自定义层加载失败(AttributeError)。针对这些问题分别提供了解决代码示例，如使用os.path.exists检查文件、map_location参数指定设备、去除DataParallel前缀等方法。文章还通过对照表清晰呈现了问题类型、典
关于pytorch加载模型报错问题
u011489887的专栏
05-25 626
加载模型后查看对应参数是什么。
解决Pytorch 加载训练好的模型 遇到的error问题
12-23
pytorch 已经非常友好了 保存模型和加载模型都只需要一条简单的命令 #保存整个网络和参数 torch.save(your_net, 'save_name.pkl') #加载保存的模型 net = torch.load('save_name.pkl') 因为我比较懒我就想直接把...
pytorch-模型的加载，迁移学习，保存
qq_62585870的博客
02-27 2183
代码的主要目的是加载预训练的 VGG16 模型，并修改其分类器部分以适配 CIFAR-10 数据集。修改后的模型可以直接用于 CIFAR-10 的分类任务，而无需重新训练整个 VGG16 模型。这段代码展示了两种不同的模型加载方式，并打印了模型的结构。
Pytorch使用训练好的模型时报错RuntimeError: cuda runtime error (10) : invalid device ordinal
stepho的博客
10-16 9433
跑了两天的模型，拿出来做预测的时候加载出了问题，报错如下： RuntimeError: CUDA error (10): invalid device ordinal (check_status at /opt/conda/conda-bld/pytorch_1532579805626/work/aten/src/ATen/cuda/detail/CUDAHooks.cpp:36) 最后发现...
pytorch inception v3 KeyError: <class 'tuple'>解决方法
weixin_30952535的博客
09-07 604
刚入门深度学习，试着跑了一下resnet18和resnet50都没有问题，但是在运行inception v3的时候遇到一个问题怎么都解决不了 错误输出如下： Traceback (most recent call last): File "transfer_learning_tutorial.py", line 277, in <module> num_epoc...
深度学习训练时间过长，GPU显存占用很多但是占用率过低问题
热门推荐
ShakalakaPHD的博客
11-25 1万+
深度学习训练时间过长GPU占用率过低问题配置环境问题描述调参结果修改num_workers结论附录 配置环境 操作系统：Ubuntu20.04 CUDA版本：10.2 Pytorch版本：1.6.0 TorchVision版本：0.7.0 mmdet版本：2.5.0 mmcv版本：1.1.5 IDE：PyCharm 硬件：RTX2070S*2 问题描述 在训练YOLOv4tiny时发现GPU占用率非常低，并且经常跳到0，导致训练速度很慢 为此博主对几个时间点就行设置，打印出来加载数据花费的时间和真正网
pytorch训练加速技巧
qq_40619759的博客
06-23 662
搭建的模型训练时间过长，除了方法上的改进，在pytorch基本操作上的改进有以下实践与总结。 参考https://blog.youkuaiyun.com/Xw_Classmate/article/details/113362129中的方法。 除了上述方法，以下为个人实践中总结的技巧： 空间换时间：能预处理的数据，尽量预处理之后保存，训练过程中直接使用预处理的数据。 矩阵放在gpu上：对于矩阵运算，尽可能放到gpu上，无论该矩阵是否需要梯度更新。同时能用矩阵表示变换尽可能用矩阵变换表示； 避免使用append操作
记录一次pytorch训练模型遇到的报错
oneself的博客
06-20 4194
记录一次pytorch训练模型遇到的报错（特定代码下的解决，仅供参考）
【持续更新】训练自己模型时遇到的bug合集
hu_yinghui的博客
10-24 2296
训练自己模型时的bug合集
深度学习-服务器pytorch多GPU训练踩坑，报错RuntimeError: Error(s) in loading state_dict
liux1997的博客
03-14 2030
多GPU服务器训练pytorch模型，加载报错
pytorch加载模型指定GPU卡号报错或者指定失败
jmhIcoding
11-22 2864
根据pytorch的文档，在加载模型的时候，可以指定将模型的tensor加载到特定目标GPU上。 加载方法有： >>> torch.load('tensors.pt') # 1. Load all tensors onto the GPU 0 >>> torch.load('tensors.pt', map_location=torch.device('cuda:0')) # 2. Load all tensors onto GPU 1 >>> torc
pytorch加载模型出现错误解决
贱贱的剑
12-16 3489
pytorch加载模型的"no attribute copy"错误解决
pytorch如何加载训练好的模型文件
03-08
<think>嗯，用户问的是PyTorch如何加载训练好的模型文件。这个问题看起来挺常见的，但可能涉及不同的情况。我得先回想一下PyTorch的模型保存和加载方法。记得PyTorch有两种主要的保存方式，一种是保存整个模型，另一种是只保存模型的参数。 首先，用户可能需要知道保存模型的基本方法。比如，用torch.save()，可以保存整个模型或者状态字典。然后加载的时候，如果是整个模型，直接加载就可以；如果是状态字典，需要先实例化模型，再加载参数。不过这里需要注意模型的结构必须和保存时一致，否则可能会出错。 然后，可能用户会遇到一些常见问题，比如模型结构变化后加载的问题，这时候可能需要指定strict=False。还有设备的问题，比如在CPU上保存的模型加载到GPU上，可能需要map_location参数。 另外，可能用户对state_dict和整个模型的区别不太清楚，需要解释清楚两者的优缺点。比如保存整个模型方便但可能不灵活，保存state_dict更推荐，尤其是在不同环境中使用的时候。 还有，自定义模型的情况，必须确保在加载之前，模型类已经被正确导入或者定义，否则会找不到类而报错。这个可能需要提醒用户注意。 可能用户的实际应用场景是什么？比如他们是在继续训练还是进行推理？如果是推理，可能还需要将模型设置为eval模式，并禁用梯度，这样可以节省内存和计算资源。 总结下来，步骤应该是：1. 保存模型的状态字典；2. 加载时先创建模型实例，再加载状态字典。同时要处理设备的问题，可能存在的结构变化，以及模型模式切换。 有没有遗漏的点呢？比如多GPU训练后的模型如何处理？如果用户是在多GPU上训练并保存的模型，加载时可能需要调整参数名称中的module前缀。这时候需要提到torch.nn.DataParallel的影响，以及如何处理这种情况。 还有，保存和加载的版本兼容性，不同版本的PyTorch可能会有兼容性问题，可能需要建议用户保持环境一致。 最后，最好给出一个完整的示例代码，让用户能直接复制使用，并解释每个步骤的作用。这样用户更容易理解和应用。</think>PyTorch加载训练好的模型文件主要通过以下步骤实现，根据不同的保存方式有不同的加载方法： ### 一、基础加载方法 1. **保存整个模型** ```python # 保存 torch.save(model, 'model.pth') # 加载（无需重新定义网络结构） model = torch.load('model.pth') model.eval() # 切换为评估模式 ``` 2. **推荐方式：保存state_dict** ```python # 保存 torch.save(model.state_dict(), 'model_weights.pth') # 加载（需要先实例化网络） model = MyModel() # 必须与原始模型结构相同 model.load_state_dict(torch.load('model_weights.pth')) model.eval() ``` ### 二、关键注意事项 1. **设备映射** ```python # 强制加载到CPU（当原始模型在GPU训练时） model.load_state_dict(torch.load('model.pth', map_location=torch.device('cpu'))) # 自动选择设备 model.load_state_dict(torch.load('model.pth', map_location='cuda:0' if torch.cuda.is_available() else 'cpu')) ``` 2. **模型结构变化处理** ```python # 当网络结构部分修改时 model.load_state_dict(torch.load('model.pth'), strict=False) # 忽略不匹配参数 ``` ### 三、实际应用示例 ```python import torch from model import MyNetwork # 导入自定义网络类 # 初始化模型 model = MyNetwork() # 加载参数（推荐方式） checkpoint = torch.load('best_model.pth') model.load_state_dict(checkpoint['model_state_dict']) # 加载优化器状态（用于继续训练） optimizer = torch.optim.Adam(model.parameters()) optimizer.load_state_dict(checkpoint['optimizer_state_dict']) # 切换模式 model.train() # 训练模式 model.eval() # 评估模式（关闭dropout等） ``` ### 四、常见问题解决 1. **多GPU训练模型处理** ```python # 去除参数名前缀（当使用DataParallel时） state_dict = torch.load('multi_gpu_model.pth') from collections import OrderedDict new_state_dict = OrderedDict() for k, v in state_dict.items(): name = k[7:] if k.startswith('module.') else k # 去掉 'module.' 前缀 new_state_dict[name] = v model.load_state_dict(new_state_dict) ``` 2. **版本兼容问题** ```python # 指定加载版本 torch.load('model.pth', pickle_module=pickle, encoding='latin1') # 处理旧版本兼容 ``` ### 五、最佳实践建议 1. 始终保存`state_dict`而非完整模型 2. 同时保存元数据（推荐格式）： ```python torch.save({ 'epoch': 200, 'model_state_dict': model.state_dict(), 'optimizer_state_dict': optimizer.state_dict(), 'loss': 0.02, }, 'checkpoint.pth') ``` 3. 使用模型验证： ```python # 加载后立即验证 with torch.no_grad(): test_input = torch.randn(1, 3, 224, 224) output = model(test_input) print("Output shape:", output.shape) # 验证模型是否正常 ``` 通过以上方法，您可以安全高效地加载PyTorch模型文件。根据具体场景选择加载方式，注意处理设备兼容性和模型版本差异问题。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

机器不学习我学习

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值