pytorch加载预训练 加载部分参数

已于 2024-04-30 16:19:24 修改
阅读量7k 收藏 7
点赞数 2
CC 4.0 BY-SA版权
分类专栏： pytorch知识宝典 文章标签： pytorch 深度学习 python
于 2019-06-10 18:26:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jacke121/article/details/91390803
本文介绍了如何在PyTorch中加载预训练模型，包括正常CPU加载和自定义加载，同时讲解了如何处理参数尺度不匹配、更新部分参数以及查看未匹配的层。还探讨了在深度学习中不同层设置不同学习率的方法，以及在PyTorch中如何选择特定层进行微调。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

正常加载模型，cpu加载

自定义加载模型，舍弃某些层：

参数尺度对不上可以用这个：

update部分参数：

查看那些层没有匹配上：

二. 不同层设置不同学习率的方法 

正常加载模型，cpu加载

加载预训练模型pop参数

state_dict = torch.load(weight_path)
state_dict.pop("denoiser.PPE.pe")
self.load_state_dict(state_dict,strict=False)

map_location=torch.device("cpu")

   model = IResNet(IBasicBlock, [2, 2, 2, 2])
   a_path=r"ms1mv3_arcface_r18_fp16/backbone.pth"
   state_dict= torch.load(a_path, map_location=torch.device("cpu"))
   model.load_state_dict(state_dict)

了解本专栏 订阅专栏 解锁全文 超级会员免费看
pytorch只加载预训练模型中的部分参数及冻结部分参数
yang_daxia的博客
08-26 7470
说明 比如我需要训练车牌检测模型, 采用retinanet, 结构为bacnbone-fpn-retinanethead. 准备在coco数据集上预训练. 但是coco数据集有81类, 车牌只有几类. 预训练完以后, retinanethead部分, 由于类数目尺寸不匹配, 所以希望只加载bacnbone以及fpn部分的参数. 保存的checkpoints本质上为一个字典, 所以只需要把head部...
pytorch加载预训练模型
weixin_45807767的博客
03-09 1848
加载预训练模型 1/4 直接加载预训练模型 import torchvison.models as models resnet50 = models.resnet50(pretrained=True) # 若只需要网络结构，不需要预训练模型的参数来初始化，则设置pretrained=False，或者把resnet复制到自己的目录下，新建个model文件夹，可以参考下面的猫狗大战入门算法入门：https://github.com/JackwithWilshere/Kaggle-Dogs_vs_Cats_PyT
Pytorch加载部分预训练模型的参数
最新发布
简简单单的学习笔记，致力于帮助更多前进路上的朋友~
07-26 653
Pytorch加载部分预训练模型的参数
Pytorch加载部分预训练模型的参数实例
09-18
今天小编就为大家分享一篇Pytorch加载部分预训练模型的参数实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch 模型部分参数的加载
y1556368418的博客
10-30 3167
如果对预训练模型的结构进行了一些改动，在训练的开始前希望加载未改动部分的参数，如将resnet18的第一层卷积层conv1的输入由3通道改为6通道的new_conv1，将分类层fc的1000类输出改为2类输出的new_fc，注意：要改一下名字与原来的不同。 导入模型 myNet=resnet18() 然后就加载模型的参数，参考pytorch 如何加载部分预训练模型 pretrained_di...
pytorch加载模型中的部分参数
t20134297的博客
12-13 513
import torch import torch.nn as nn import torch.nn.functional as F from torchvision import datasets,transforms from torch.optim import lr_scheduler import torch.optim as optim class VGG(nn.Module): ...
PyTorch加载预训练模型实例(pretrained)
09-18
这里的 `pretrained=True` 参数告诉 PyTorch 我们想要加载预训练的权重。`models.resnet50()` 函数会返回一个已经训练好的 ResNet50 模型，其内部权重对应于在 ImageNet 上训练的结果。 然而，通常我们需要对预训练...
pytorch加载预训练模型部分参数
nn1997729的博客
08-17 1396
resnet = models.resnet50(pretrained=True) new_state_dict = resnet.state_dict() dd = net.state_dict() #net是自己定义的含有resnet backbone的模型 for k in new_state_dict.keys(): print(k) if k in dd.keys() and not k.startswith('fc'): #不使用全连接的参数 print('y
Pytorch中自定义(修改)的模型加载所需部分预训练模型参数并冻结
weixin_42455006的博客
06-25 2553
二. 这个则就复杂不少，按自己所需进行更改，比如我的，就是本模型增加了四层’dense’, ‘unary_affine’, ‘binary_affine’, ‘classifier’，通过j+=8，跳过他们的weight和bias，这个可以参考权重衰减。同时将原模型参数中’crf’部分不加载。 后面了解到有一种更简单的方法：就是当你设置好你自己的模型后，如果仅想使用预训练模型相同结构处的参数，即在加载的时候将参数strict设置为False即可。该参数值默认为True，表示预训练模型的层和自己定义的网络结
使用PyTorch加载模型部分参数方法
TracelessLe的专栏
04-10 9276
前言 在深度学习领域，经常需要使用其他人已训练好的模型进行改进或微调，这个时候我们通常会希望加载预训练模型文件的参数，如果网络结构不变，只需要使用load_state_dict方法即可。而当我们改动网络结构后，由于load_state_dict方法要求读入的state_dict的key和net.state_dict()的key对应相等，如果有缺少就会报错。这个时候我们通常希望加载未改动部分结构的参数用来初始化网络。 方法 方法一：strict=False 直接使用load_state_dict提供的参数s
Pytorch如何部分加载模型参数
explorer5568的博客
03-30 995
在处理深度学习相关的任务时，有些情况下是在别人已有的模型上做了少量的更改，此时如果从头开始训练此模型，感觉很浪费时间，因为可以充分利用别人已经训练出来的模型的参数，供自己更改的模型使用。因此本文便简单分享一种方法，来加载模型的部分参数。
PyTorch：如何加载预训练参数？
fhcfhc1112的博客
07-14 5346
1.在没有改变原网络结构的情况下 model = resnet50() model = model.load_state_dict(torch.load('model.pth')) torch.load('model.pth')会把网络参数加载到一个有序字典当中, 然后把这个有序字典传递给model.load_state_dict()。 2.在只改变原网络结构的某一层或某几层的情况下 在...
pytorch加载预训练模型中的部分参数
zhongzhh8的博客
09-28 5140
有时候我们构建的模型跟预训练模型的网络结构是不相同，为了将预训练模型中与我们模型重合的部分加载进来，就需要用到加载部分参数的方法，比如说 预训练模型结构为：ResNet18 -> fc 我们要构建的模型结构为 ResNet -> fc1 -> fc2 我们希望把在预训练模型中训练好的ResNet18加载进新模型的ResNet18里（因为不想加载预训练模型的fc层，所以新模...
pytorch加载部分模型和参数
weixin_43632501的博客
08-13 4341
有时候任务需要，想从一个训练好的网络里提取部分网络和参数做为自己的网络，本文将教你如何用pytorch实现。 首先看一下训练好的网络结构： 这是一个seq2seq网络，包含encoder和decoder两部分，每一部分都包含一个embedding层、一个LSTM层和一个Dropout层，decoder网络还有一个Linear层。 然后看一下新的网络结构： 同样是一个seq2seq的结构，区别是...
pytorch加载部分参数训练
ws_nlp_的博客
07-15 563
1.在加载了部分参数以后，直接另参数的requires_grad = False self.encoder = BertModel.from_pretrained('bert-base-chinese') for i, p in enumerate(self.parameters()): p.requires_grad = False 2.优化器中去掉requires_grad = False 的参数 self.optimizer = torch.optim.Ad
加载预训练权重的部分参数
梦坠凡尘
08-24 1338
pretrained_dict = ... model_dict = model.state_dict() # pretrained_dict: ['A', 'B', 'C', 'D'] # model_dict: ['A', 'B', 'C', 'E'] # 1. filter out unnecessary keys pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model_dict} # pretrain
加载预训练参数的四种方法
A2321161581的博客
03-10 1143
神经网络加载预训练参数的四种方式。
Pytorch中加载预训练模型/模型参数-torch.load()
peacefairy的博客
10-09 7060
TORCH.LOAD语法参数理解函数简述Example注意事项 语法 torch.load(f, map_location=None, pickle_module=<module 'pickle' from '/opt/conda/lib/python3.6/pickle.py'>, **pickle_load_args) 参数理解 f – 类文件对象 (返回文件描述符)或一个保存文件名的字符串 map_location – 一个函数或字典规定如何remap存储位置
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值