解决 RuntimeError: Error(s) in loading state_dict for : Missing key(s) in state_dict

最新推荐文章于 2024-08-05 14:52:13 发布

lei_qi

最新推荐文章于 2024-08-05 14:52:13 发布

阅读量1.5w

点赞数 10

分类专栏： Linux pytorch

本文链接：https://blog.youkuaiyun.com/lei_qi/article/details/118607234

版权

使用torch.nn.DataParallel多卡训练模型之后，加载模型前也需要打开多卡读取模型。

我最近使用多卡训练了一个模型。保存的方式是state_dict的方式。
然后在加载模型的时候就一直出错。
raise RuntimeError(‘Error(s) in loading state_dict for {}:\n\t{}’.format(
RuntimeError: Error(s) in loading state_dict for BertMultiClassification:
Missing key(s) in state_dict
意思是这个状态字典中缺少键。

输出模型需要的字典中key 的名称

bert_tokenizer = BertTokenizer.from_pretrained(pretrained_model_path)
bert_config = BertConfig.from_pretrained(pretrained_model_path)
bert_model = BertModel.from_pretrained(pretrained_model_path)
bert_model