Missing key(s) in state_dict: Unexpected key(s) in state_dict

最新推荐文章于 2023-02-22 13:39:53 发布

weixin_34184561

最新推荐文章于 2023-02-22 13:39:53 发布

阅读量1.1k

点赞数 2

CC 4.0 BY-SA版权

文章标签：数据库

原文链接：http://www.cnblogs.com/llfctt/p/11045066.html

博客指出若加载的预训练模型之前用了torch.nn.DataParallel()，而当前训练未使用会报错，并给出三种解决方案。一是训练时加入torch.nn.DataParallel()；二是创建无module.的新字典；三是用代码替换键中的module.。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如果加载的预训练模型之前使用了torch.nn.DataParallel()，而此时的训练并没有使用，则会出现这样的错误。
解决方案有两个：
1：此时的训练加入torch.nn.DataParallel()即可。
2：创建一个没有module.的新字典，即将原来字典中module.删除掉。
解决方案1：

model = torch.nn.DataParallel(model)
cudnn.benchmark = True

解决方案2：
# original saved file with DataParallel
state_dict = torch.load('myfile.pth')
# create new OrderedDict that does not contain `module.`
from collections import OrderedDict
new_state_dict = OrderedDict()
for k, v in state_dict.items():
name = k[7:] # remove `module.`
new_state_dict[name] = v
# load params
model.load_state_dict(new_state_dict)

解决方案3：
model.load_state_dict({k.replace('module.',''):v for k,v in torch.load('myfile.pth').items()})

转载于:https://www.cnblogs.com/llfctt/p/11045066.html