model_state_dict网络部分参数的更新(非严格模式加载model)

FakeOccupational

已于 2022-11-19 21:55:04 修改

阅读量908

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习文章标签： python 开发语言

于 2022-08-05 17:00:03 首次发布

本文链接：https://blog.youkuaiyun.com/ResumeProject/article/details/126161591

深度学习专栏收录该内容

175 篇文章

订阅专栏

本文探讨了字典的update方法在模型参数加载中的应用，以及在模型保存与加载时，面对不一致和关键字段缺失情况下的处理技巧。重点讲解了如何正确使用strict参数和部分模型键的合并操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基础：字典的update方法

marks = {'Physics':67, 'Maths':87}
internal_marks = {'Practical':48}
marks.update(internal_marks)

print(marks)
# Output: {'Physics': 67, 'Maths': 87, 'Practical': 48}

不一致时

model.load_state_dict(model_state_dict, strict=False)

保存模型的key多

model_state_dict, optimizer_state_dict = loader(os.path.join(checkpoint_floder, config["model_loadname"]))

model_dict = model.state_dict()
model_state_dict = {k: v for k, v in model_state_dict.items() if k in model_dict}
model_dict.update(model_state_dict)

model.load_state_dict(model_dict)

保存模型的key少

# 先获取保存的key
model_state_dict, optimizer_state_dict = loader(os.path.join(checkpoint_floder, config["model_loadname"]))

# 获取当前模型的key
model_dict = model.state_dict()
model_dict.update(model_state_dict)# 用保存的key部分更新当前模型的key，得到model_dict

model.load_state_dict(model_dict)# 将更新的model_dict加载给当前的模型