pytorch中model.parameters()和model.state_dict()使用时的区别

原创 已于 2022-03-19 22:23:36 修改 · 8.3k 阅读 · 49 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #人工智能 #联邦学习

于 2022-03-18 13:33:31 首次发布

联邦学习模拟实验中涉及模型参数的聚合和广播，需要提取模型参数。这个时候一般有两个选择，model.parameters() 和 model.state.dict()。表面上看这两者的区别只在于 model.parameters() 方法返回的是一个生成器 generator，里面只有模型的参数，而没有对应的网络层名称；而 model.state_dict() 返回的则是一个字典 {key:value}，key 是网络层名称，value 则是该层的参数。

但我实际做实验的时候发现，分别用这两种方法进行聚合的实验结果相去甚远，测试准确率甚至能相差 10 个点以上。

一波网上搜索发现，当模型中有非训练参数时，这两者其实还有区别，即 model.parameters() 只包含可训练参数，而 model.state_dict() 则包含了所有参数。
比如批量归一化层 BN layer 除了 2 个可训练参数 α \alpha α 和 β 外，还有 running_mean 和 running_var 这2个统计量，而 model.parameters() 是不包含这两个统计量的，只有 model.state_dict() 将这两个统计量包含在其中。
至于是否把这两个统计量纳入聚合的范畴，可以看我之前总结的BN在联邦学习中的应用

所以，如果是用 model.para

最低0.47元/天 解锁文章
pytorch的model.parameters()，model.children()，model.modules()，model.named_parameters()，...
lishanlu136的博客
09-22 361
关于model.parameters()、model.children()、model.modules()、model.named_parameters()、model.named_children()、model.named_modules()的总结。
pytorch - state_dict() , parameters() 详解
qq_40671063的博客
09-15 2223
pytorch - state_dict() , parameters() 详解
Pytorch之parameters的使用
12-23
1.预构建网络 class Net(nn.Module): def __init__(self): super(Net, self).__init__() # 1 input image channel, 6 output channels, 5*5 square convolution # kernel self.conv1 = nn.Conv2d(1, 6, 5) self.conv2 = nn.Conv2d(6, 16, 5) # an affine operation: y = Wx + b self.fc1 = nn.Li
pytorch中model.parameters()函数
Sinsinw的博客
04-08 2万+
model = ConvNet() #创建了一个实例 optimizer = optim.Adam(model.parameters(), lr=learning_rate) #优化函数，model.parameters()为该实例中可优化的参数，lr为参数优化的选项（学习率等） for name, param in model.named_parameters(): #查看可优化的参数有...
pytorch的model.parameters
dandingkaer2的博客
10-01 1227
pool等是没有训练参数的，如果需固定一些参数不需要，给对应optimizer添加参数的时候需要注意。在model.parameters()返回的结果中，对一个卷积层，权重和偏置各占一个位置。pytorch的model.parameters()的参数指模型中可训练的参数，激活函数、max。
Pytorch(六)(模型参数的遍历) —— model.parameters() & model.named_parameters() & model.state_dict()
hxxjxw的博客
07-31 3万+
net = Net() #k,v就分别是w和b for k, v in net.named_parameters(): print(k,v) 效果可见这里 https://blog.csdn.net/hxxjxw/article/details/105667269 model.state_dict()、model.parameters()、model.named_parameters()这三个方法都可以查看Module的参数信息，用于更新参数，或者用于模型的保存。 .....
pytorch中获取模型参数：state_dict和parameters两个方法的差异比较
造未来
12-14 2万+
一、本文的模型案例 代码如下： import torch import torch.nn.functional as F from torch.optim import SGD class MyNet(torch.nn.Module): def __init__(self): super(MyNet, self).__init__() # 第一句话，调用父类的构...
pytorch 状态字典:state_dict使用详解
09-18
PyTorch中的`state_dict`是一个非常重要的工具，它用于保存和加载模型的参数。`state_dict`是一个Python字典，其中键是网络层的标识，值是对应层的权重和偏差等参数。这个功能使得在训练过程中可以方便地保存模型的...
pytorch中，load_state_dict和torch.load的区别？
985小菜鸡
06-12 1175
torch.load用于从磁盘加载任意对象（通常是状态字典）。用于将加载的状态字典应用到模型或优化器实例上。# 定义模型# 创建模型和优化器# 保存模型和优化器的状态字典# 加载模型和优化器的状态字典这段代码展示了如何定义一个简单的模型，保存它的状态字典，然后加载这些状态字典到新的模型和优化器实例中。
PyTorch中利用parameters()获取模型参数
yudixianzong的博客
03-02 1682
在这个示例中，我们首先定义了一个包含两个线性层的神经网络，然后通过list(model.parameters())获取了模型中的所有可学习参数。这些参数存储在一个Python列表中，可以用于进行优化器的初始化和模型的保存和加载。在PyTorch中，可以使用parameters函数来获取模型中的所有可学习参数。
【pytorch】Module.parameters()函数实现与网络参数管理
热门推荐
idwtwt的专栏
08-30 4万+
我们知道可以通过Module.parameters()获取网络的参数，那这个是如何实现的呢？我先直接看看函数的代码实现： def parameters(self): r"""Returns an iterator over module parameters. This is typically passed to an optimizer. ...
pytorch model.name_parameters()和model.static_dict()
White_will的博客
06-23 432
第二，model.state_dict()存储的是该model中包含的所有layer中的所有参数；而model.named_parameters()则只保存可学习、可被更新的参数，model.buffer()中的参数不包含在model.named_parameters()中。最后，model.state_dict()所存储的模型参数tensor的require_grad属性都是False，而model.named_parameters()的require_grad属性都是True。
PyTorch：模型训练-parameters和optimizer
皮皮blog
10-20 9630
迭代打印model.named_parameters()将会打印每一次迭代元素的名字和paramparam.requires_grad=False # 顺便改下属性。
pytorch中的model.named_parameters()与model.parameters()
分享技术笔记，记录学习研发历程
05-21 1万+
参考链接：https://www.cnblogs.com/yqpy/p/12585331.html model.named_parameters() 迭代打印model.named_parameters()将会打印每一次迭代元素的名字和param。 for name, param in net.named_parameters(): print(name,param.requires_grad) param.requires_grad = False 输出结果为 conv_1_
PyTorch中模型的parameters()方法浅析
qq_39463274的博客
04-03 3万+
首先先定义一个模型: import torch as t import torch.nn as nn class A(nn.Module): def __init__(self): super().__init__() self.conv1 = nn.Conv2d(2, 2, 3) self.conv2 = nn.Conv2d(2...
model.parameters()，model.state_dict()，model .load_state_dict()以及torch.load()
笼中鸟
09-29 1万+
一.model.parameters()与model.state_dict() model.parameters()与model.state_dict()都是Pytorch中用于查看网络参数的方法 一般来说，前者多见于优化器的初始化，例如： 后者多见于模型的保存，如： 当我们对网络调参或者查看网络的参数是否具有可复现性时，可能会查看网络的参数 pretrained_dict = torch.load(yolov4conv137weight) model_dict = _model.st
【Pytorch神经网络理论篇】 05 Module类的使用方法+参数Parameters类+定义训练模型的步骤与方法
小李的研究生学习日记
03-02 7459
1 Module类的使用方法 1.1 Module类的add_module()方法 1.1.1 概述 add_module()：将XX层插入到模型结构中 1.1.2 add_module()----LogicNet_fun.py（第1部分） import torch.nn as nn import torch import numpy as np import matplotlib.pyplot as plt class LogicNet(nn.Module): def __ini
torch.save(obj=self.state_dict())和 torch.save(obj=model)的区别
qq_45104603的博客
04-05 603
这个对象也可以保存到磁盘，然后加载回内存以恢复整个模型，包括它的架构和状态。然而，这种保存和加载模型的方法不太常见，它通常用于在训练期间对模型进行检查点检查，以便稍后可以从保存的状态恢复训练。self.state_dict()返回一个字典，其中包含模型的所有可学习参数，即所有层的权重和偏差。该字典可以保存到磁盘，然后加载回模型以恢复其状态。obj=self.state_dict()和obj=model的区别在于使用不同方法保存的不同对象。，这两种方法在不同的场景中都有用，具体取决于你想要实现的目标。
state_dict = {k: v for k, v in save_model.items() if k in model_dict.keys()} model_dict.update(state_dict) self.backbone.load_state_dict(model_dict)
最新发布
06-19
<think>我们正在处理的是PyTorch模型参数的加载问题。用户提供的代码片段是：{k:vfork,vinsave_model.items()ifkinmodel_dict.keys()}这个字典推导式的作用是：从保存的模型状态字典（save_model）中筛选出当前模型（model_dict）中存在的键值对。在PyTorch中，`model.state_dict()`返回一个有序字典（OrderedDict），包含模型的所有可学习参数（权重和偏置）以及注册的缓冲区（如BatchNorm的running_mean）。使用`load_state_dict`加载参数时，要求保存的状态字典的键必须与当前模型的键完全匹配（除非设置了`strict=False`）。###代码功能详解1.**过滤参数**：该推导式遍历保存的模型状态字典（`save_model.items()`），只保留那些键存在于当前模型状态字典（`model_dict.keys()`）中的项。2.**应用场景**：当保存的模型和当前模型结构不完全一致时（例如，加载预训练模型但当前模型缺少某些层），通过这种方式可以避免因键不匹配而导致的错误。###在PyTorch中的使用示例```python#假设我们有一个保存的模型状态字典（来自文件或网络）saved_state_dict=torch.load('model.pth')#类型为OrderedDict或普通dict#获取当前模型的状态字典（作为键的参照）model=MyModel()#假设已经定义了模型类current_state_dict=model.state_dict()#当前模型的键集合#使用字典推导式过滤出当前模型存在的参数filtered_state_dict={k:vfork,vinsaved_state_dict.items()ifkincurrent_state_dict}#加载过滤后的参数model.load_state_dict(filtered_state_dict,strict=False)```###注意事项1.**键匹配**：必须确保保存的模型和当前模型的对应层有相同的键名。如果层名不一致，需要手动重命名或映射。2.**严格模式**：使用`strict=False`允许部分加载，即忽略不匹配的键（多余或缺失）。但需注意：-未加载的参数将保持随机初始化状态-缺失的键不会触发错误，但可能影响模型性能3.**数据类型一致性**：保存的参数和当前模型参数的数据类型必须兼容。例如，不能将`FloatTensor`加载到`IntTensor`层（如引用[4]中的问题）[^4]。4.**缓冲区（Buffer）**：除了可学习参数，状态字典还可能包含缓冲区（如BatchNorm的统计量）。这些也需要匹配。###常见错误及解决方案1.**键不匹配错误（KeyError）**：-原因：保存的模型有当前模型不存在的键。-解决：使用上述推导式过滤，或设置`strict=False`。2.**数据类型不匹配**：-现象：如引用[4]中，注册的缓冲区（buffer）在保存时被替换为浮点张量，但新模型期望整数[^4]。-解决：确保参数数据类型一致，避免直接替换模型属性（应使用`register_buffer`正确注册）。3.**形状不匹配**：-原因：保存的参数张量与当前模型对应层的形状不同。-解决：手动调整参数形状（如通过`v.view_as(current_state_dict[k])`）或跳过该参数。###进阶技巧-**参数重映射**：当键名不同但参数可对应时，构建映射字典：```pythonkey_mapping={"old_layer.weight":"new_layer.weight",...}remapped_state_dict={key_mapping.get(k,k):vfork,vinsaved_state_dict.items()}```-**部分初始化**：仅加载部分层的参数（如卷积层），其余层保持初始化：```python#只加载以"conv"开头的层filtered={k:vfork,vinsaved_state_dict.items()ifk.startswith("conv")andkincurrent_state_dict}```###总结该字典推导式是PyTorch模型迁移学习中常用的参数过滤手段，核心在于通过键名交集实现安全加载。配合`load_state_dict`的`strict=False`选项，可有效处理模型结构差异问题[^1][^2]。§§相关问题§§1.如何解决PyTorch模型加载时的键名不匹配问题？2.在模型微调（fine-tuning）中，如何处理部分层参数加载？3.PyTorch的`strict=False`模式有哪些潜在风险？4.如何正确注册和加载缓冲区（Buffer）参数？[^4]5.在分布式训练中加载模型参数有哪些特殊注意事项？</think>### 理解代码功能与 PyTorch 参数加载 您提供的代码片段： ```python {k: v for k, v in save_model.items() if k in model_dict.keys()} ``` 这是一个**字典推导式**，用于从保存的模型状态字典中筛选出当前模型存在的键值对。功能相当于： ```python filtered_dict = {} for k, v in save_model.items(): if k in model_dict.keys(): filtered_dict[k] = v ``` #### 在 PyTorch 参数加载中的核心作用： 1. **键匹配**：确保只加载当前模型结构中存在的参数 2. **安全过滤**：避免加载多余参数导致`KeyError` 3. **模型兼容**：处理不同版本模型间的参数差异 ### 正确使用 `load_state_dict` 的完整流程 ```python # 1. 加载保存的模型参数 save_model = torch.load('model.pth') # 类型为OrderedDict或dict [^3] # 2. 获取当前模型的状态字典 model_dict = model.state_dict() # 3. 过滤匹配的参数 (您的代码片段) matched_params = {k: v for k, v in save_model.items() if k in model_dict.keys()} # 4. 更新当前模型参数 model_dict.update(matched_params) # 更新字典值 # 5. 加载到模型 model.load_state_dict(model_dict) # 严格模式加载 [^1] ``` ### 关键注意事项与常见错误解决 #### 1. 键不匹配问题 - **错误现象**：`RuntimeError: Missing key(s) in state_dict...` - **解决方案**： ```python # 使用strict=False允许部分加载 model.load_state_dict(matched_params, strict=False) ``` #### 2. 数据类型不一致 - **错误现象**：如引用[4]中的整数张量 vs 浮点张量问题 [^4] - **解决方案**： ```python # 显式转换数据类型 matched_params = {k: v.to(model_dict[k].dtype) for k, v in save_model.items() if k in model_dict.keys()} ``` #### 3. 模型结构变化处理 当添加/删除网络层时： ```python # 仅加载匹配参数，新层保持初始化 model.load_state_dict(matched_params, strict=False) # 获取未加载的键 missing, unexpected = model.load_state_dict(save_model, strict=False) print(f"未加载层: {missing}\n多余参数: {unexpected}") ``` #### 4. 设备位置不匹配 ```python # GPU模型加载CPU保存的参数 if next(iter(save_model.values())).device.type == 'cpu': matched_params = {k: v.to(device) for k, v in save_model.items() if k in model_dict.keys()} ``` ### 最佳实践建议 1. **版本兼容**：保存模型时同时存储结构元数据 ```python torch.save({ 'state_dict': model.state_dict(), 'model_version': '1.2', 'input_size': (3, 224, 224) }, 'model.pth') ``` 2. **参数验证**：加载后检查参数更新 ```python # 检查参数是否更新 for name, param in model.named_parameters(): if name in matched_params: print(f"{name}: {torch.allclose(param, matched_params[name])}") ``` 3. **缓冲区处理**：注册的缓冲区（如BN的running_mean）也需加载 [^4] ```python # 包含缓冲区过滤 all_keys = set(model.state_dict().keys()) filtered = {k: v for k, v in save_model.items() if k in all_keys} ``` ### 典型应用场景 ```mermaid graph TD A[加载预训练模型] --> B{是否完全匹配?} B -- 是 --> C[直接加载] B -- 否 --> D[使用键过滤] D --> E[部分参数初始化] E --> F[微调模型] ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

联邦学习小白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值