预训练权重与当前模型不匹配_module.encoder.blocks.0.conv.weight-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_45950422/article/details/135830511

文章讲述了在使用PyTorch加载预训练的state_dict到UNETR模型时遇到的错误，原因在于state_dict包含了一些模型结构不匹配的键。提供了删除不匹配键并加载的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

    raise RuntimeError('Error(s) in loading state_dict for {}:\n\t{}'.format(
RuntimeError: Error(s) in loading state_dict for UNETR:
        Unexpected key(s) in state_dict: "vit.patch_embedding.cls_token", "encoder2.blocks.0.1.conv3.conv.weight", "encoder2.blocks.1.1.conv3.conv.weight", "encoder3.blocks.0.1.conv3.conv.weight".

这个错误消息表明在加载state_dict时出现了错误，因为在state_dict中存在一些意外的键。

state_dict是一个字典对象，用于保存神经网络模型的参数和缓冲区。当尝试加载state_dict时，模型会检查state_dict中的键与当前模型的对应部分是否匹配。如果发现有未知的键或缺少的键，就会引发这个错误。

在你的情况下，state_dict中包含了一些与模型结构不匹配的键。具体来说，vit.patch_embedding.cls_token、encoder2.blocks.0.1.conv3.conv.weight、encoder2.blocks.1.1.conv3.conv.weight和encoder3.blocks.0.1.conv3.conv.weight这些键在当前模型的结构中不存在，导致了错误的发生。

解决这个问题的方法通常有两种：

如果你有一个预训练的state_dict，而且你正在尝试将其加载到一个与预训练模型结构不完全匹配的模型中，你可以通过删除state_dict中不匹配的键来解决问题。你可以使用state_dict.pop(key)方法删除不需要的键。
如果你没有预训练的state_dict，或者确实想要加载完整的预训练模型，那么你需要确保你的模型结构与state_dict中的键匹配。你可能需要重新训练模型或者修改模型结构，使其与state_dict中的键一致。

import torch

# 创建模型对象
model = MyModel()

# 加载预训练的state_dict
pretrained_state_dict = torch.load('pretrained_model.pth')

# 删除不匹配的键
keys_to_remove = ['vit.patch_embedding.cls_token', 'encoder2.blocks.0.1.conv3.conv.weight',
                  'encoder2.blocks.1.1.conv3.conv.weight', 'encoder3.blocks.0.1.conv3.conv.weight']
for key in keys_to_remove:
    pretrained_state_dict.pop(key, None)

# 加载修剪后的state_dict
model.load_state_dict(pretrained_state_dict, strict=False)