“torch.load“中出现的“Unexpected key(s) in state_dict“报错问题

原创 已于 2023-10-17 21:03:37 修改 · 5.1k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

于 2023-10-17 20:06:55 首次发布
本文介绍了如何在使用`model.load_state_dict()`时，设置`strict=False`以允许加载过程中不完全匹配的键。同时，通过OrderedDict和条件判断移除了position_ids相关项，以确保模型有效加载。

问题：
在这里插入图片描述
解决：
在这里插入图片描述

  1. 添加strict=False，允许加载过程中出现不匹配的键。但请注意,仍然需要确保模型中的主要参数能够正确加载，以确保模型的有效性。
model.load_state_dict(state_dict)
# 改为：
model.load_state_dict(state_dict, strict=False)
  1. #去除关键字”model"
from collections
最低0.47元/天 解锁文章
pytorch加载模型报错Unexpected key(s) in state_dict: module.conv1.weight, module.bn1
Hello Word!
06-28 1万+
文章目录代码报错原因解决 代码 import models arch = 'resnet50' model = models.__dict__[arch]() checkpoint = torch.load(ckptFile) model.load_state_dict(checkpoint['state_dict']) model = torch.nn.DataParallel(model).cuda() 报错 Traceback (most recent call last
Unexpected key(s) in state_dict: "module.backbone.bn1.num_batches_tracked"
热门推荐
jacke121的专栏
09-07 1万+
pytorch预测的时候报异常了： {RuntimeError}Error(s) in loading state_dict for DataParallel:     Unexpected key(s) in state_dict: "module.backbone.bn1.num_batches_tracked", "module.backbone.shuffles.ShuffleConvs_...
Unexpected key(s) in state_dict
weixin_43487041的博客
04-16 6177
训练多层网络后测试 报错. RuntimeError: Error(s) in loading state_dict for Net_Atv: Unexpected key(s) in state_dict: "net.30.conv1.weight", "net.30.conv1.bias", "net.30.conv2.weight", "net.30.conv2.bias", "net...
MMDetection 3.X 安装
ssunshining的博客
09-18 2811
本版本基于mmdetection v3.1.0。在outputs/ 文件夹下查看输出结果。安装opencv-python。安装mmdetection。
解决torch.load中Unexpected key(s) in state_dict的报错问题
weixin_51007334的博客
08-22 2110
今天在使用强化学习跑实验的时候，使用到了这个函数，从已经保存的pth文件中加载模型权重。但是加载的过程中，出现了错误。
Unexpected key(s) in state_dict解决方案
hihui1231的博客
11-07 4584
Unexpected key(s) in state_dict
执行model.load_state_dict报错map_location=torch.device(‘cpu‘)以及Unexpected key(s) in state_dict
m0_56222998的博客
08-02 2465
本蒟蒻原先是在有GPU的服务器上训练得到了模型，现在想在没有GPU的服务器部署网页，需要加载该模型，当运行了下面代码时。是因为没有将state_dict转移到CPU上，在PyTorch中，可以通过指定。仔细查看提示信息，发现是有一个未知的Key，我把它删掉竟然就跑通了。我打印出了两台服务器中state_dict的内容。打印的内容都是一样的，都是下面的内容。
pytorch使用torch.load加载模型出现错误Unexpected key(s) in state_dict
风影的博客
09-04 3631
记录错误积累经验 猛然来这么一大串错误信息让我有点震惊。 pytorch模型文件以key，value形式保存，现在模型所有key都对不上，有点奇怪。细看发现加载的模型相较于当前模型其key值前面多了“module."。 初步诊断 class Tester(object): TestParams = TestParams def __init__(self, model, test_params): assert isinstance(test_params, TestP
load_state_dict报错: Error(s) in loading state_dict for XXX: Missing keys(s) in state_dict: ....
gray___的博客
03-10 5000
1. 报错内容 /opt/tools/anaconda3/lib/python3.8/site-packages/torch/nn/modules/module.py in load_state_dict(self, state_dict, strict) 1221 1222 if len(error_msgs) > 0: -> 1223 raise RuntimeError('Error(s) in loading state_dict
[代码调试]Missing key(s) in state_dict+Unexpected key(s) in state_dict
一叶轻舟博客
02-22 1075
Missing key(s) in state_dict
Missing key(s) in state_dict | unexpected_keys | 模型加载 [torch.load] 报错【解决方案】
Akita·Wang's Semantic Segmentation
04-14 2155
目录错误分析该报错快速直接解决方法 错误分析 代码块： model.load_state_dict(torch.load(checkpoint, map_location='cpu')) 控制台报错提示： Unexpected key(s) in state_dict: “epoch”, “model”. 或者是 Unexpected key(s) in state_dict: “XXX”, “XXX”. 该报错快速直接解决方法 model.load_state_dict 时设置 strict=F
Unexpected key(s) in state_dict: “module.backbone.bn1.num_batches_tracked“
牛肉胡辣汤
11-06 2351
当加载保存的​​时，出现​​错误通常是由于键名不匹配引起的。我们可以通过查看模型的键名和保存的​​的键名来找出不匹配的键，并相应地修改它们。另外，使用​​包装模型可以解决多GPU训练导致的键名前缀问题。希望本文能帮助你解决​​错误，并顺利加载模型参数。
Pytorch加载模型model.load_state_dict()问题,Unexpected key(s) in state_dict
weixin_39331401的博客
05-19 5175
希望将训练好的模型加载到新的网络上。如上面题目所描述的，PyTorch在加载之前保存的模型参数的时候，遇到了问题。 版权声明：本文为优快云博主「是否龙磊磊真的一无所有」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn....
【pytorch加载模型错误】Unexpected key(s) in state_dict: “epoch“, “arch“, “state_dict“, “optimizer“, “args“
重剑无锋博客
11-30 1961
Unexpected key(s) in state_dict
【React-native】 "Unexpected keys "xxx" found in previous state received by the reducer.Unexpected key
冯一朔 - 不想当CTO的程序员不是一个好哲学家
08-29 2018
今天，莫名启动项目发现一个报错，如下： 造成原因： 使用redux-persist 缓存 redux 中的数据，两个不同项目中的persistConfig 中 key 相同了。 解决： persistConfig 中 key 每个项目保持唯一： const persistConfig = { key: '1560392485_project', // 对于数据 key...
【KeyError: ‘unexpected key “module.*****“】【KeyError: ‘unexpected key “net.“】
github_38575699的博客
04-15 302
下载的预训练模型显示key不对，
解决Unexpected key(s) in state_dict: “module.backbone.bn1.num_batches_tracked“
牛肉胡辣汤
11-17 1681
这个错误通常是由于保存模型参数时使用的模型状态字典（state_dict）与加载模型时使用的模型结构不匹配导致的。当我们加载模型参数时，PyTorch会根据state_dict中的key与模型中的参数进行匹配，然后将参数值加载到对应的模型中。然而，加载模型时，模型结构中没有找到与该参数名称对应的模型参数，因此出现了Unexpected key(s)的错误提示。我们想要加载预训练的ResNet模型参数，但是由于state_dict中的key与模型结构不匹配，我们使用for循环手动删除了不匹配的key。
解决KeyError: 'unexpected key "module.encoder.embedding.weight" in state_dict'
weixin_43310928的博客
03-20 2340
原因： 可能是之前训练的时候开了nn.DataParallel，造成了储存模型的时候是放在module里面的。 解决方案： 1、关掉nn.DataParallel 重新训练权重文件 2、模型参数文件是以OrderDict储存，可以手动去除尝试一下 3、新的模型训练的时候开启nn.DataParallel尝试一下 ...
pytorch 预训练model加载问题”Unexpected key(s) in state_dict:“
qq_23116521的博客
03-02 1万+
预训练模型使用 model = ResNet50() model = nn.DataParallel(model).cuda() 加载预训练模型是使用 model = ResNet50().cuda() checkpoint = torch.load(args.net_cache) model.load_state_dict(checkpoint['state_...
unexpected key in source state_dict:,hourglass模型
最新发布
08-28
在加载 `hourglass` 模型时，如果遇到 `unexpected key in source state_dict` 错误，通常意味着模型的 `state_dict` 中存在模型定义中没有的键。这可能是由于模型结构发生变化、保存的权重文件包含多余的信息，或者模型的某些部分未被正确加载所致。 一种可能的原因是 `hourglass` 模型中使用了 `DataParallel` 或 `DistributedDataParallel` 包装模型后保存了 `state_dict`，此时 `state_dict` 中的键会带有 `module.` 前缀，而当前模型没有使用相同方式加载，导致键不匹配。解决这个问题的方法是通过去除 `module.` 前缀来调整 `state_dict`： ```python # 假设 model 是当前定义的 hourglass 模型 state_dict = torch.load('hourglass_model.pth') # 去除 module. 前缀 from collections import OrderedDict new_state_dict = OrderedDict() for k, v in state_dict.items(): name = k[7:] # 去除 module. 前缀 new_state_dict[name] = v model.load_state_dict(new_state_dict) ``` 此外，如果模型结构发生了变化，例如添加或删除了一些层，那么需要确保当前模型的结构与保存的 `state_dict` 一致。可以通过打印 `state_dict` 的键来检查模型结构的差异，并手动调整加载的权重： ```python # 打印 state_dict 的键 print(state_dict.keys()) ``` 如果只需要加载部分权重，可以使用 `strict=False` 参数忽略未匹配的键： ```python model.load_state_dict(state_dict, strict=False) ``` 这种方法可以避免由于模型结构调整而导致的错误，但需要确保关键层的权重能够正确加载[^1]。 ### 解决方案总结 1. **检查模型保存方式**：确认保存的模型是否使用了 `DataParallel` 或 `DistributedDataParallel`，如果是，则需要在加载时去除 `module.` 前缀。 2. **打印 `state_dict` 键**：通过打印 `state_dict` 的键，确认模型结构是否一致，并手动调整不匹配的部分。 3. **使用 `strict=False`**：如果模型结构有变化，可以使用 `strict=False` 参数加载部分权重，确保关键层的权重正确加载。 ### 相关问题 1. 如何在 PyTorch 中处理 `state_dict` 中的意外键问题？ 2. 使用 `DataParallel` 保存模型时如何避免加载时的键不匹配问题？ 3. 在加载模型时，如何手动调整 `state_dict` 以匹配模型结构？ 4. `strict=False` 参数在加载模型权重时的作用是什么？ 5. 如何通过代码检查模型的 `state_dict` 键？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

代码小白的成长

计算机网络PPT下载

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值