pytorch加载部分模型和参数

最新推荐文章于 2025-04-01 09:53:07 发布
最新推荐文章于 2025-04-01 09:53:07 发布
阅读量4.3k 收藏 27
点赞数 10
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43632501/article/details/99443556
本文介绍如何在PyTorch中从一个训练好的seq2seq网络中提取encoder部分，并将其参数复制到新的仅包含Linear层的decoder网络。步骤包括保存预训练权重、新建网络模型代码以及检查复制是否成功。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

有时候任务需要，想从一个训练好的网络里提取部分网络和参数做为自己的网络，本文将教你如何用pytorch实现。
首先看一下训练好的网络结构：
在这里插入图片描述
这是一个seq2seq网络，包含encoder和decoder两部分，每一部分都包含一个embedding层、一个LSTM层和一个Dropout层，decoder网络还有一个Linear层。
然后看一下新的网络结构：
在这里插入图片描述
同样是一个seq2seq的结构，区别是decoder网络里面只保留了一个Linear层，其他层都删掉了。那么怎么将训练好的网络参数复制过来呢？

1、保存预训练好的网络参数
torch.save(model.state_dict(), 'net-1.pth'
最低0.47元/天 解锁文章

200万优质内容无限畅学
Flutter Yang
关注
Pytorch加载部分预训练模型的参数
简简单单的学习笔记，致力于帮助更多前进路上的朋友~
07-26 653
Pytorch加载部分预训练模型的参数
pytorch 模型部分参数的加载
y1556368418的博客
10-30 3167
如果对预训练模型的结构进行了一些改动，在训练的开始前希望加载未改动部分的参数，如将resnet18的第一层卷积层conv1的输入由3通道改为6通道的new_conv1，将分类层fc的1000类输出改为2类输出的new_fc，注意：要改一下名字与原来的不同。 导入模型 myNet=resnet18() 然后就加载模型的参数，参考pytorch 如何加载部分预训练模型 pretrained_di...
使用PyTorch加载模型部分参数方法
TracelessLe的专栏
04-10 9276
前言 在深度学习领域，经常需要使用其他人已训练好的模型进行改进或微调，这个时候我们通常会希望加载预训练模型文件的参数，如果网络结构不变，只需要使用load_state_dict方法即可。而当我们改动网络结构后，由于load_state_dict方法要求读入的state_dict的key和net.state_dict()的key对应相等，如果有缺少就会报错。这个时候我们通常希望加载未改动部分结构的参数用来初始化网络。 方法 方法一：strict=False 直接使用load_state_dict提供的参数s
pytorch加载模型中的部分参数
t20134297的博客
12-13 513
import torch import torch.nn as nn import torch.nn.functional as F from torchvision import datasets,transforms from torch.optim import lr_scheduler import torch.optim as optim class VGG(nn.Module): ...
Pytorch加载部分预训练模型的参数实例
09-18
PyTorch作为一个灵活且强大的深度学习框架，提供了加载预训练模型参数的功能，这对于研究和实践非常有用。本文将详细探讨如何在PyTorch中加载部分预训练模型的参数，并通过实例进行说明。 首先，当我们使用的模型与...
Pytorch加载模型
m0_50460160的博客
06-21 1641
torchvision是PyTorch生态系统中的一个包，专门用于计算机视觉任务。它提供了一系列用于加载、处理和预处理图像和视频数据的工具，以及常用的计算机视觉模型。torchvision.models模块包含许多常用的预训练计算机视觉模型，例如ResNet、AlexNet、VGG等分类、分割等模型。
Pytorch如何部分加载模型参数
explorer5568的博客
03-30 995
在处理深度学习相关的任务时，有些情况下是在别人已有的模型上做了少量的更改，此时如果从头开始训练此模型，感觉很浪费时间，因为可以充分利用别人已经训练出来的模型的参数，供自己更改的模型使用。因此本文便简单分享一种方法，来加载模型的部分参数。
Pytorch 加载部分模型参数样例
艾渃曼の博客
07-26 550
Pytorch 加载部分模型参数样例
pytorch如何加载部分模型参数
weixin_41449637的博客
09-11 4801
使用openpose pytorch版本查看中间热力图结果，需要加载部分参数，过程如下 1.把模型的结构加载进来 pretrained_dict = torch.load(model_body25) model = bodypose_25_model() 2.通过字典形式，加载网络中的部分参数 model_dict = model.state_dict() pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in..
pytorch部分模型参数加载
rocking_struggling的博客
10-08 239
这里参考了一种部分模型权重加载的方法。 def initialize_weights(self): resnet50 = models.resnet50(pretrained=True) pretrained_dict = resnet50.state_dict() all_params = {} for k, v in self.resnet.state_dict().items(): if k in pretra
PyTorch学习：加载模型和参数
Fighting Hua
09-03 3822
pytorch的模型和参数是分开的，可以分别保存或加载模型和参数。 pytorch有两种模型保存方式： 一、保存整个神经网络的的结构信息和模型参数信息，save的对象是网络net 二、只保存神经网络的训练模型参数，save的对象是net.state_dict() 对应两种保存模型的方式，pytorch也有两种加载模型的方式。对应第一种保存方式，加载模型时通过torch.load('.pth')直接初始化新的...
基于pytorch的 保存和加载模型参数
baidu_20965275的博客
11-01 1万+
当我们花费大量的精力训练完网络，下次预测数据时不想再（有时也不必再）训练一次时，这时候torch.save(),torch.load()就要登场了。 保存和加载模型参数有两种方式： 方式一：   torch.save(net.state_dict(),path): 功能：保存训练完的网络的各层参数（即weights和bias) 其中：net.state_dict()获取各层参数，pat...
pytorch加载部分参数训练
ws_nlp_的博客
07-15 563
1.在加载了部分参数以后，直接另参数的requires_grad = False self.encoder = BertModel.from_pretrained('bert-base-chinese') for i, p in enumerate(self.parameters()): p.requires_grad = False 2.优化器中去掉requires_grad = False 的参数 self.optimizer = torch.optim.Ad
【学习记录】pytorch载入模型的部分参数
最新发布
larrydong的博客
04-01 769
需要从PointNet网络框架中提取encoder部分的参数，然后赋予自己的模型。因此，需要从一个已有的.pth文件读取部分参数，加载到自定义模型上面。做了一些尝试，记录如下。
pytorch加载预训练 加载部分参数
jacke121的专栏
06-10 7079
pytorch加载预训练 加载部分参数
Pytorch中，只导入部分模型参数的做法
热门推荐
我的博客有点东西
02-26 2万+
我们在做迁移学习，或者在分割，检测等任务想使用预训练好的模型，同时又有自己修改之后的结构，使得模型文件保存的参数，有一部分是不需要的（don’t expected）。我们搭建的网络对保存文件来说，有一部分参数也是没有的（missed）。如果依旧使用torch.load（model.state_dict())的办法，就会出现 xxx expected，xxx missed类似的错误。那么在这种情况下...
torch加载预训练的模型参数
qq_35608277的博客
01-10 735
用strict=False进行加载模型，则“能塞则塞，不能塞则丢”。load一般是依据key来加载的，一旦有key不匹配则出错。如果设置strict=False，则直接忽略不匹配的key，对于匹配的key则进行正常的赋值。 ref https://blog.youkuaiyun.com/hungryof/article/details/81364487 ...
pytorch加载分类模型
01-15
此代码片段假设有一个预定义的神经网络结构`Net()`以及保存过的模型参数文件路径。 ```python import torch from torchvision import models # 定义与原训练时完全相同的网络架构 class Net(torch.nn.Module): ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值