RuntimeError: Error(s) in loading state_dict for TransformerMASSModel:解决方法

最新推荐文章于 2024-09-30 11:03:09 发布

原创最新推荐文章于 2024-09-30 11:03:09 发布 · 3.4k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python #pytorch #深度学习 #自然语言处理

本文解决了在运行MASS/MASS-summarization代码时遇到的RuntimeError问题，详细介绍了错误原因及处理方法，指出fine-tuning阶段加载预训练模型时的常见误区，并提供了解决方案。

运行MASS/MASS-summarization代码报错：RuntimeError: Error(s) in loading state_dict for TransformerMASSModel:

因为fine-tuning阶段需要加载之前训练好得Pre-training模型，在之前训练好得预训练模型中包含model，fine-tuning阶段不需要，所以去掉就可以，或者在预训练阶段去掉model也可以。

下面是我的报错和处理结果：

解决方法：找到对应得文件注释掉即可如下图：

再运行就成功了。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

白纸上的天真

关注关注

4
点赞
踩
4

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

RuntimeError: Error(s) in loading state_dict for ResNet: Unexpected key(s) in state_dict: “bn1.num

优快云精品推荐

01-09

2029

在这个特定的情况下，错误信息中提到了多个“num_batches_tracked”键。这类键在某些 PyTorch 版本中存在，而在其他版本中可能不存在。方法会加载所有匹配的键，而忽略任何不匹配的键，从而避免了这个错误。但是，这种方法应谨慎使用，因为它可能掩盖模型结构和状态字典之间的不一致问题。这样做会使得 PyTorch 忽略不匹配的键，只加载那些与模型结构相匹配的键。这通常发生在模型的结构和要加载的状态字典不完全匹配时。解决这个问题的一个常见方法是在加载状态字典之前，明确地忽略不匹配的键。

RuntimeError: Error(s) in loading state_dict for DistributedDataParallel: Missing key(s) in state_di

weixin_57948968的博客

05-05

769

这个错误通常是因为键值对不匹配的问题，也就是说在训练过程中，你保存的checkpoints文件中的键值对对应不上，这个时候你需要把原来的训练的文件删除，然后再重新进行训练即可。

2 条评论您还未登录，请先登录后发表或查看评论

RuntimeError: Error(s) in loading state_dict for BASE_Transformer

秋月的私语

09-02

3722

严格按照作者的说明页进行训练和测试，但是跑出来的模型就是无法正常工作，而用作者的预训练模型就正常工作，百思不得其解，根据错误，逐步调试，输出，总算是找到了问题的所在！回过头看，这其实是一个很简单的问题，但是我仍然很高兴自己能够逐步分析，测试，最终找到正确的解决办法，而做到更深入地理解了代码。虽然是个并不复杂的问题，但是我花了一天半的时间才完全解决，解决的过程中经过了无数次的尝试，测试和分析，最终成功解决了问题！结果，我一脸懵逼，看不出个所以然来，维度太高，括号太多，根本没法看。

解决 RuntimeError: Error(s) in loading state_dict for : Missing key(s) in state_dict

lei_qi的博客

07-09

1万+

使用torch.nn.DataParallel多卡训练模型之后，加载模型前也需要打开多卡读取模型。我最近使用多卡训练了一个模型。保存的方式是state_dict的方式。然后在加载模型的时候就一直出错。 raise RuntimeError(‘Error(s) in loading state_dict for {}:\n\t{}’.format( RuntimeError: Error(s) in loading state_dict for BertMultiClassification: Missi

RuntimeError: Error(s) in loading state_dict for ..:Missing key(s) in state_dict: …Unexpected key...

关于我的学习记录

12-07

7847

原因：预训练权重层数的键值与新构建的模型中的权重层数名称不吻合

运行网络成出现错误：RuntimeError: Error(s) in loading state_dict for ReflectionNetwork:

jie的博客

11-16

2087

在服务器上运行网络时出现错误： RuntimeError: Error(s) in loading state_dict for ReflectionNetwork: 原来： checkpoint = torch.load("/Pre_train/checkpoint_81_test1.pth.tar",map_location='cuda:0') model.load_state_dict(checkpoint['state_dict']) model.eval() 修改后： checkpoint

Bug解决：RuntimeError: Error(s) in loading state_dict for LadderNetv6: Missing key(s) in state_dict:

据说大佬都喜欢黑色！

09-29

1300

运行网络的时候出现了这个错误，虽然之前已经解决过了，还是出现的问题下面是原来的代码：别人说在load这个checkpoint之前要加上 net = torch.nn.DataParallel(net, device_ids=range(torch.cuda.device_count())) cudnn.benchmark = True if resume: # Load checkp...

RuntimeError: Error(s) in loading state_dict for DeepLabV3: Missing key(s) in state_dict: 的解决方法

qq_42514371的博客

02-01

2012

RuntimeError: Error(s) in loading state_dict for DeepLabV3: Missing key(s) in state_dict: "classifier.aspp.convs.1.0.weight", "classifier.aspp.convs.2.0.weight", "classifier.aspp.convs.3.0.weight", "classifier.classifier.0.weight". 的解决方法

加载模型出现 RuntimeError: Error(s) in loading state_dict for Model: Missing key(s) in state_dict

热门推荐

程序员的博客

08-11

8万+

今天准备加载一个模型来测试的时候发现了一个问题，加载总是失败，报错是RuntimeError: Error(s) in loading state_dict for Model: Missing key(s) in state_dict"convd1.0.weight", "convd1.0.bias", "convd1.1.weight" 。咋一看，难道是因为我取值的问题，然后debug了一下，发现我的state_dict是符合要求的，但是为什么出现加载不了？问题代码 model = ..

RuntimeError: Error(s) in loading state_dict for

sgfsfgs的博客

03-06

2335

版本问题不对应，降低pyopengl 版本至3.1.4。

RuntimeError: Error(s) in loading state_dict for Model: size mismatch for model.24.m.0.weight....

qq_44442727的博客

11-07

2816

但是，这处的问题并不好改，如果也是使用yolov5_rotated代码训练，建议对照yolov5的训练代码，可以发现这个rotated框架在优化器部分的代码写的不完善，而且预训练判断部分的代码也有问题，即使成功训练起来，epoch数量也不是从0，1开始，所以主要还是框架考虑不够完善。查找了一些办法，基本上是关于 loading_state_dict()的用法，如何去处理加载的权重，开始直接定位到了ckpt[‘model’]的这几层的权重，强行将几层的权重维度匹配到model中，但是训练时仍然没有解决问题。

RuntimeError: Error(s) in loading state_dict for Trans: Missing key(s) in state_dict: “class_token“

Victorshengw的博客

06-16

492

RuntimeError: Error(s) in loading state_dict for Trans: Missing key(s) in state_dict: "class_token"

【错误记录】RuntimeError: Error(s) in loading state_dict for DataParallel: size mismatch for module

Qz574662449的博客

11-30

2万+

【记犯的一次低级错误】完整错误信息如下： RuntimeError: Error(s) in loading state_dict for DataParallel: size mismatch for module.lstm_block.lstm.weight_ih_l0: copying a param with shape torch.Size([1024, 500]) from checkpoint, the shape in current model is torch.Size([1024

【Bug解决】RuntimeError:Error(s)in loading state_dict for DataParallel:Missing key(s)in state_dict

学习 & 分享 ~

03-14

1万+

报错信息：原因：加载模型参数时，关键字不匹配，原因是模型只能加载 key 完全一致的参数，可以按照下述方式解决，这样模型会跳过不匹配的参数，如果你需要完全 load 进来，就需要手动更改 model 的参数关键字名称。解决：...

RuntimeError: Error(s) in loading state_dict for xxxx:

fangweijiex的博客

10-21

2111

RuntimeError: Error(s) in loading state_dict for xxxx:

解决报错RuntimeError: Error(s) in loading state_dict for InpaintGenerator: Missing key(s) in state_dict

长路漫漫亦灿灿

09-30

1094

报错提示是因为在加载模型的state_dict时，模型中的一些关键参数（比如"conv_

RuntimeError: Error(s) in loading state_dict for MobileNetV2:

最新发布

11-17

当MobileNetV2加载state_dict出现RuntimeError时，可根据不同错误类型采用不同解决方法： - **出现unexpected key(s) in state_dict错误**：若加载模型时出现`RuntimeError: Error(s) in loading state_dict for Net:unexpected key(s) in state_dict: XXX`，可以在加载时设置`strict=False`，示例代码如下： ```python import torch from torchvision.models import mobilenet_v2 model = mobilenet_v2() try: model.load_state_dict(torch.load('models/params.pt')) except RuntimeError as e: if 'unexpected key(s) in state_dict' in str(e): model.load_state_dict(torch.load('models/params.pt'), strict=False) ``` 这种方法可以忽略参数字典中多余的键，避免因多余键导致的加载错误[^1]。 - **出现Missing key(s) in state_dict错误**：若错误是由于模型训练时使用多张GPU并行训练，使保存的模型参数键值对中键开头多出现了`"module."`字符串，可去除该字符串后再加载。示例代码如下： ```python import torch from torchvision.models import mobilenet_v2 model = mobilenet_v2() checkpoint = torch.load('models/params.pt') new_state_dict = {} for k, v in checkpoint.items(): if k.startswith('module.'): k = k[7:] # 去掉 "module." new_state_dict[k] = v model.load_state_dict(new_state_dict) ``` 此方法可以解决因并行训练导致的键不匹配问题[^3]。 - **出现size mismatch错误**：若出现`RuntimeError: Error(s) in loading state_dict for Network: size mismatch`，可参考以下修改方法，舍弃部分不匹配的参数： ```python import os import torch from torchvision.models import mobilenet_v2 from termcolor import colored def load_network(net, model_dir, strict=True, map_location=None): if not os.path.exists(model_dir): print(colored('WARNING: NO MODEL LOADED !!!', 'red')) return 0 print('load model: {}'.format(model_dir)) if map_location is None: pretrained_model = torch.load(model_dir, map_location={'cuda:0': 'cpu', 'cuda:1': 'cpu', 'cuda:2': 'cpu', 'cuda:3': 'cpu'}) else: pretrained_model = torch.load(model_dir, map_location=map_location) if 'epoch' in pretrained_model.keys(): epoch = pretrained_model['epoch'] + 1 else: epoch = 0 pretrained_model = pretrained_model['net'] net_weight = net.state_dict() for key in net_weight.keys(): net_weight.update({key: pretrained_model[key]}) # 舍弃部分参数，根据实际情况修改 net_weight.pop("some_layer.weight") net_weight.pop("some_layer.bias") net.load_state_dict(net_weight, strict=strict) return epoch model = mobilenet_v2() load_network(model, 'models/params.pt') ``` 该方法通过舍弃不匹配的参数，使模型能够加载其余匹配的参数[^4]。