Pytorch 加载训练好的模型遇到的error

最新推荐文章于 2024-03-16 11:19:27 发布

转载最新推荐文章于 2024-03-16 11:19:27 发布 · 607 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://blog.youkuaiyun.com/u014264373/article/details/85332181

pytorch 专栏收录该内容

12 篇文章

订阅专栏

这是一个非常愚蠢的错误

debug的时候要好好看error信息

提醒自己切记好好对待error！切记！切记！

---------------------------分割线-------------------------------------

pytorch 已经非常友好了保存模型和加载模型都只需要一条简单的命令

就遭受了这样的错误。看错了error信息，把‘Net’看成‘net’。报错没有属性‘net’？这个不是我自己写的变量名么？

------------------------瞎捣鼓1h后（呵呵呵）-----------------------------------

回头看error，没有属性‘Net’，Net？？？

我当下明白过来，应该是test文件中没有把它import进来，test中就没有任何关于Net的信息。我直接把定义的Net复制进了test.py，就顺利加载了训练好的模型。

但是我也有一个疑问，我理解的把整个模型保存难道不是把它的结构都保存下来了么？为什么还要再把这个网络import一次？来自python、pytorch、面向对象编程三次元小白的疑惑，先存个疑，搞懂了再来回答。

接下来试试只保存网络参数

#只保存网络参数
torch.save(your_net.state_dict(), 'save_name.pkl')
#加载保存的模型
net.load_state_dict(torch.load('save_name.pkl'))

保存网络参数

重新定义网络

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

PMPWDF

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

pytorch 加载已训练好的(.pth)格式模型

water19111213的博客

05-23

2万+

1 简介 pytorch里有一些非常流行的网络如 resnet、wide_resnet101_2、squeezenet、densenet等，包括网络结构和训练好的模型。 pytorch自带模型网址：https://pytorch-cn.readthedocs.io/zh/latest/torchvision/torchvision-models/ 按照官网加载预训练的模型： import torchvision.models as models # pretrained=True就可以使用预训练的模型

【Pytorch】训练模型

aaon22357的博客

01-14

8851

文章目录一、训练完整流程二、高阶操作1.自定义学习率2. 只训练特定的网络层3. 逐层释放/冻结网络参数4.恢复优化器状态时参数不match的解决方案5. 梯度反传，loss反传，梯度裁剪三、恢复保存的优化器状态，继续优化四、加载模型到指定的卡上一、训练完整流程使用Pytorch训练神经网络的一般流程为（伪代码，许多功能需要自己实现，这里只列出了流程）： import torch import...

参与评论您还未登录，请先登录后发表或查看评论

加载已训练好的模型pytorch

weixin_52800300的博客

10-23

344

from __future__ import division import torch import torch.nn as nn import matplotlib.pyplot as plt import numpy as np from utilscopy import * from collections import OrderedDict import torch.optim as optim from utilscopy import * import random import panda

TypeError: `model` must be a `LightningModule` or `torch._dynamo.OptimizedModule`, got `RecurrentNet

Job_class的博客

11-16

1279

在训练我的时序预测模型的时候，想用pytorch_forecasting库中的RecurrentNetwork构建一个lstm模型，在使用pytorch_lightning库中的trtainer训练器训练我的模型时，在trainer.fit代码行报错显示TypeError: `model` must be a `LightningModule` or `torch._dynamo.OptimizedModule`, got `RecurrentNet，但是RecurrentNetwork它本身是继承了Lig

TypeError: `model` must be a `LightningModule` or `torch._dynamo.OptimizedModule`, got `TemporalFusi

m0_62766582的博客

03-16

1115

将所有的包pytorch_lightning替换成lightning.pytorch即可。

pytorch加载训练好的模型用来测试或者处理

群星闪耀的博客

06-16

1万+

保存、加载模型 pytorch保存模型的方式有两种：第一种：将整个网络都都保存下来第二种：仅保存和加载模型参数（推荐使用这样的方法）保存和加载整个模型 torch.save(model_object, 'model.pkl') model = torch.load('model.pkl') 仅保存和加载模型参数(推荐使用) torch.save(model_object.state_dict(), 'params.pkl') model_object.load_state_di..

解决Pytorch 加载训练好的模型遇到的error问题

09-18

本文将详细介绍如何在PyTorch中正确地保存和加载训练好的模型，以及在此过程中可能遇到的错误问题和解决方法。首先，PyTorch允许用户通过两种方式保存模型：一种是保存整个模型的参数与结构，另一种是仅保存模型的...

Pytorch：多模态大模型预训练、大模型微调：加载数据的正确姿势

WinterShiver

03-15

2401

由于训练数据集过大，在训练读取数据时，直接使用Dataset类可能会带来性能问题。Pytorch的Dataset类在初始化时会将整个数据集加载到内存中，如果数据集非常大，没法全部放在内存里，使用Dataset类会显著增加硬盘io次数，带来性能下降。对于近期兴起的多模态大模型的预训练和微调，常见情况是训练数据规模极大，通常可以达到1m-100m级别。此时，训练数据通常用一个上百万行的jsonl文件存储，每行对应一条json格式的训练数据，其中可能包括数据关联的其他图、音、视频数据的索引。

基于pytorch的SSD模型训练

qq_44137560的博客

11-17

1974

SSD模型论文：https://blog.youkuaiyun.com/quincuntial/article/details/78854930 汉化 0、环境准备： ubuntu18.04.4系统，pytorch1.2.0，CUDN10，CUDNN7.4.2，GPU为GTX1050 1、训练前的准备： VOC数据集的准备，使用ImafeLable或其他数据集标注工具，将原始数据集转换为VOC数据集，使用ImageLable刚开始会出现两个文件夹，分别为Annotations、JPEGImages文件夹，我们还需要创建

PyTorch如何加载已经训练好的网络模型

天凉好个秋的博客

01-24

1万+

PyTorch要加载已经训练好的网络模型，需要保留什么代码，增加什么代码？model.load_state_dict(torch.load('./model/model.pth'))#再加载网络的参数 model = model.to(device)

huggingface 本地模型加载报错 Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_mo

duoyasong5907的博客

01-29

4592

【代码】huggingface 本地模型加载报错 Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_mo。

解决OSError: Error no file named pytorch_model.bin, tf_model.h5 found in directory

weixin_44231433的博客

12-13

1万+

加载预训练好的Bert模型时发生OSError错误

pytorch 保存模型出错

qq_45193988的博客

07-18

1497

今天在使用pytorch保存模型时，突然出现 Can’t pickle typing.Union[torch.Tensor, NoneType]: it’s not the same object 的错误，找了好多文章也没找到解决办法，后来把保存代码由 save(model,path)换成save(model.state_dict(), path)终于不报错了 ...

Pytorch 加载自己的训练模型

OscarMind的博客

01-07

5426

Pytorch保存我们训练好的模型，然后加载用于测试第一种方法（1）保存 torch.save(model.state_dict(), PATH) # example torch.save(resnet50.state_dict(),'ckp/model.pth') （2）恢复 model = ModelClass(*args, **kwargs) model.load_state_dic...

pytorch模型的保存与加载

十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎

07-28

1万+

PyTorch提供了三种种方式来保存和加载模型，在这三种方式中，加载模型的代码和保存模型的代码必须相匹配，才能保证模型的加载成功。通常情况下，使用第一种方式（保存和加载模型状态字典）更加常见，因为它更轻量且不依赖于特定的模型类。

pytorch坑之：保存模型错误

qq_44643395的博客

12-10

1321

AttributeError: Can’t get attribute ‘XXX’ 有的时候python会报这样的错误，明明检查起来没什么错误，这其实是pickle引起的一个bug 我遇到的问题，一共有三个文件以及类，假设分别为A.py，B.py，C.py 其中C里有一个类C_，用pickle储存，B引用C的时候，需要from C import C_，然后再用pickle加载，在B中没什么问题但我创建了一个新文件A，A里面使用B的时候就报错AttributeError: Can’t get attribu

记录一个在使用 Pytorch 0.4.0 过程中遇到的 RuntimeError

最新发布

03-20

<think>好的，我现在需要解决用户在加载PyTorch模型时遇到的KeyError问题。根据用户提供的引用内容，特别是引用[1]中的错误信息，用户可能在加载预训练模型的权重时遇到了键不匹配的问题。首先，我应该回忆一下常见的导致KeyError的原因。首先，模型结构不匹配是一个常见原因。例如，用户可能修改了模型的某些层名称，导致保存的权重中的键名与当前模型的层名不一致。比如，原模型可能有`bert.embeddings.word_embeddings.weight`，而新模型可能改名或删除了该层，导致加载时找不到对应的键，从而引发KeyError。其次，用户可能使用了不同的预训练模型配置。例如，原本的模型是基于BERT-base，而用户现在使用的是BERT-large，这样层数和参数结构不同，自然键名也会不同。这种情况下，加载权重时就会出现键不匹配。另外，用户可能在保存模型时没有正确保存整个模型，而只保存了状态字典的一部分，或者在加载时使用了错误的模型类。比如，原本用`BertForSequenceClassification`保存的模型，现在尝试用`BertForTokenClassification`加载，这会导致部分键缺失。接下来，我需要考虑解决方案。根据引用[1]中的例子，用户遇到了形状不匹配的问题，但这里的问题更偏向于键名不存在。可能的解决步骤包括： 1. **检查模型结构是否一致**：确保当前定义的模型与保存权重时的模型结构完全相同。可以通过打印模型的`state_dict`的键来比较。 2. **使用严格加载模式**：PyTorch的`load_state_dict`函数有一个`strict`参数，默认为True。如果设为False，可以忽略不匹配的键，但需要谨慎，因为这可能导致部分参数未加载。 3. **手动调整键名**：如果键名有规律的变化（比如前缀不同），可以编写脚本批量修改加载的权重字典中的键名，使其匹配当前模型。 4. **检查模型类和版本**：确认使用的PyTorch版本和模型定义库（如HuggingFace Transformers）的版本是否与训练时一致。版本更新可能导致接口变化。 5. **部分加载参数**：如果只有部分层不匹配，可以分别加载匹配的部分参数，而忽略不存在的键。例如，遍历`state_dict`，只加载当前模型存在的键。此外，用户需要确认错误信息中的具体KeyError内容，例如缺失的键名是什么，这有助于定位问题所在。例如，如果错误是`KeyError: 'bert.embeddings.position_embeddings.weight'`，则可能该层在当前模型中被移除或改名。参考引用[2]提到的模型实现（如FFDNet），可能需要关注自定义层是否导致键名变化。同时，引用[3]中的类型错误虽然不直接相关，但提醒我需要确保数据类型的一致性，不过KeyError更多是结构问题。总结可能的解决步骤后，我需要以清晰的中文逐步指导用户检查这些方面，并提供示例代码帮助理解如何实施解决方案，比如修改键名或设置`strict=False`。同时，生成相关问题以帮助用户深入理解类似问题。</think>### PyTorch模型加载KeyError解决方案 #### 问题分析加载PyTorch模型时出现`KeyError`，通常由以下原因导致： 1. **模型结构不匹配**：当前模型定义与保存的权重文件结构不一致（如层名称或参数形状不同）[^1] 2. **权重文件损坏**：文件保存不完整或保存了非`state_dict`对象 3. **版本兼容性问题**：PyTorch或第三方库版本升级导致接口变化 --- #### 解决方案分步说明 ##### 步骤1：验证权重文件完整性 ```python import torch try: checkpoint = torch.load("model.pth") print("Keys in checkpoint:", checkpoint.keys()) # 查看权重文件结构 except Exception as e: print("文件加载失败:", str(e)) ``` - 正常应包含`state_dict`键 - 若出现`EOFError`，说明文件损坏 ##### 步骤2：检查模型结构一致性 ```python from models import YourModelClass # 创建新模型实例 model = YourModelClass() # 打印当前模型参数名称 print("Current model keys:", [k for k in model.state_dict().keys()][:3]) # 示例：['bert.embeddings.word_embeddings.weight', ...] # 打印权重文件参数名称 checkpoint = torch.load("model.pth") print("Checkpoint keys:", [k for k in checkpoint['state_dict'].keys()][:3]) ``` - 比较输出结果中的键名差异 ##### 步骤3：使用严格加载模式（推荐方案） ```python # 方案1：严格模式加载（需要完全匹配） model.load_state_dict(checkpoint['state_dict'], strict=True) # 默认模式 # 方案2：非严格模式加载（允许部分加载） missing_keys, unexpected_keys = model.load_state_dict( checkpoint['state_dict'], strict=False ) print("缺失的键:", missing_keys) print("意外的键:", unexpected_keys) ``` - 若出现`missing_keys`，说明当前模型缺少某些层定义 - 若出现`unexpected_keys`，说明权重文件包含多余参数 ##### 步骤4：键名映射修正（高级操作）当键名存在规律性差异时（如多出前缀`module.`），可手动修正： ```python from collections import OrderedDict # 移除所有键名前缀'module.' new_state_dict = OrderedDict() for k, v in checkpoint['state_dict'].items(): name = k.replace('module.', '') # 修改键名规则 new_state_dict[name] = v model.load_state_dict(new_state_dict) ``` ##### 步骤5：版本兼容性处理 ```bash # 查看训练时使用的版本 pip freeze > requirements.txt # 回退到指定版本 pip install torch==1.9.0+cu111 transformers==4.12.3 ``` --- #### 典型错误场景 1. **微调后层名变化** - 现象：`KeyError: 'classifier.weight'` - 原因：原始模型有`fc`层，微改后命名为`classifier` - 方案：使用`strict=False`或修改层名 2. **多GPU训练差异** - 现象：键名前缀包含`module.` - 方案：使用步骤4的键名修正代码 3. **第三方库更新** - 现象：HuggingFace Transformers库升级后层名改变 - 方案：固定库版本或手动调整键名映射 ---

Pytorch 加载训练好的模型 遇到的error

Pytorch 加载训练好的模型遇到的error