PyTorch 判断两个同类模型是否所有参数完全相同

最新推荐文章于 2024-08-15 07:48:00 发布
最新推荐文章于 2024-08-15 07:48:00 发布
阅读量1.9k 收藏 3
点赞数 2
文章标签： pytorch 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40519680/article/details/129533896
版权
文章讨论了在PyTorch中如何正确比较两个同类模型的参数是否完全相同的问题。由于model.state_dict()返回的是浅拷贝，可能会导致错误的比较结果。作者建议使用deepcopy或立即序列化参数到硬盘来确保比较的准确性。文中提到了两种检查方法，包括比较参数数据的不等式和state_dict的字符串表示。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

PyTorch 判断两个同类模型是否所有参数完全相同

起因是遇到了一个bug,发现训练中途保存的模型和最终epoch之后的模型是一样的…,经过检查发现是因为model.state_dict() 是浅拷贝，返回的参数仍然会随着网络的训练而变化, 正确做法应该使用 deepcopy(model.state_dict())，或将参数及时序列化到硬盘。

其中用到了两种判断两个同类模型是否所有参数完全相同:

assert any([p1.data.ne(p2.data).sum() > 0 for p1, p2 in zip(net1.parameters(), net2.parameters())])
assert str(net1.state_dict()) != str(net2.state_dict())
xhchen2024
关注
pytorch--模型微调fine-tuning
weixin_40852935的博客
04-06 1898
Fine tuning 模型微调 在前面的介绍卷积神经网络的时候，说到过PyTorch已经为我们训练好了一些经典的网络模型，那么这些预训练好的模型是用来做什么的呢？其实就是为了我们进行微调使用的。 1.1 什么是微调 针对于某个任务，自己的训练数据不多，那怎么办？ 没关系，我们先找到一个同类的别人训练好的模型，把别人现成的训练好了的模型拿过来，换成自己的数据，调整一下参数，再训练一遍，这就是微调（fine-tune）。 PyTorch里面提供的经典的网络模型都是官方通过Imagenet的数据集与训练好的数据
Python深度学习实践-基于PyTorch--机器学习基础知识
2201_75891968的博客
03-08 1967
Yi）之间的关系。验证集评估出来的效果并非模型的最终效果，主要是用来调整超参数的，模型最终效果以测试集的评估结果为准。如果聚类得到的模型被用于某个特定的任务，我们可以维持该任务中其他的设定不变，使用不同的聚类模型，通过某种指标度量该任务的最终结果来间接判断聚类模型的优劣。例如对文本的主题进行聚类，我们可以在直观上判断属于同一个类的文本是否具有某个共同的主题，这样的分类是否有明显的语义上的共同点。监督学习的核心在于模型通过学习输入数据和对应的输出标签之间的关系，来预测新的未标记数据的输出。
比较两个model中参数值是否相等
weixin_42408362的博客
09-30 2180
private bool CheckPackDetailed(ST0051DetailsModel inputData) { if (_detailsData[0] != null) { ST0051DetailsModel one = _detailsData[0]; ...
pytorch中获取模型参数：state_dict和parameters两个方法的差异比较
造未来
12-14 2万+
一、本文的模型案例 代码如下： import torch import torch.nn.functional as F from torch.optim import SGD class MyNet(torch.nn.Module): def __init__(self): super(MyNet, self).__init__() # 第一句话，调用父类的构...
Pytorch如何判断两个模型的权重是否相同（比较权重差异/参数字典）
最新发布
思念殇千寻的博客
08-15 614
　　参考资料： 　　GPT-4o mini的回答 　　第一种方法是使用md5sum这个命令(Linux上)，但是由于环境的不同，哪怕是load之后转存似乎都会有差，所以效果不大。 　　第二种方法是使用代码比较，这段代码是我找GPT要的，感觉非常不错。 from safetensors.torch import load_file A = load_file("/data1/chaishang...
Pytorch加载指定层的参数
木盏
04-06 3798
Pytorch加载模型的时候，有时候并不需要加载全部的模型参数。比如，做迁移学习的时候，我们将模型A的参数迁移到模型B上，这两个模型整体结构是不一样的，只是有些layer的是一样的，直接用model_b来load模型A的参数肯定会报错。我们只是想把模型A的部分参数加载到模型B上。
pytorch教程之nn.Module类详解——state_dict和parameters两个方法的差异性比较
MIss-Y的博客
07-14 1万+
前言：pytorch的模块Module类有很多的方法，前面的文章中已经介绍了四个常用的方法，这四个方法可以用于获取模块中所定义的对象（即每一个层）他们分别是children()、named_children()、modules()、named_modules()方法，本文介绍另外两个重要的方法，这两个方法会获取到模型中训练的参数（权值矩阵、偏置bias），这两个方法是model.state...
pytorch--fine-tuning的使用
qq_27009517的博客
12-23 1106
%matplotlib inline import torch,os,torchvision import torch.nn as nn import torch.nn.functional as F import pandas as pd import numpy as np import matplotlib.pyplot as plt from torch.utils.data import DataLoader, Dataset from torchvision import datasets, .
人脸识别 损失函数 centerloss arcfaceloss pytorch实现
不佛的博客
10-16 3640
Softmax loss
PyTorch多任务学习：并行学习多任务的秘密武器
多任务学习作为机器学习领域的一个分支，致力于让单个模型能够同时学习并执行多个相关任务。随着深度学习的发展，PyTorch作为一款流行的深度学习框架，被广泛用于实现多任务学习。多任务学习不仅可以提高模型的泛化...
Pytorch入门(一)
Lianyudedouzi的博客
03-09 534
学习Pytorch的记录数组和张量的区别 Pytorch的官网链接https://pytorch.org/tutorials/beginner/pytorch_with_examples.html#id12 数组和张量的区别
混合效应模型（Mixed effect model）丨多水平模型（Multilevel model）分层模型(Hierarchical Model)嵌套模型(Nested Model)及贝叶斯实现
热门推荐
weixin_46747075的博客
10-18 2万+
混合效应模型（Mixed effect model），即多水平模型（Multilevel model）/分层模型(Hierarchical Model)/嵌套模型(Nested Model)，无疑是现代回归分析中应用最为广泛的统计模型，代表了现代回归分析主流发展方向。混合效应模型形式灵活可以应对现代科学研究中各种数据情况,与传统回归模型相比具有更为强大数据分析能力,且结果更为可信。
pytorch模型保存后性能不一致的原因
DL路人甲的博客
05-17 5151
问题 模型训练完成并保存后，再新的代码中再读取时预测结果变的不一致。 可能的原因 请检查随机种子是否被确定 请检查模型的保存与读取是否正确 如果这些检查都没有问题，请尝试在原始代码（训练完毕后，测试之前）中重新读取模型文件检查预测结果是否与之前一致。如果一致，说明很可能问题出在随机数上。 随机数 请务必检查代码中是否人为多次使用了随机数相关的代码，当随机种子被固定后，只是固定了随机数出现的顺序，而非固定了随机数 例如当固定随机种子并多次产生随机数后，生成的随机数分别为1，3，4，8，10。无论重复多少次
判断两个参数的值是否相同
ztao2333的博客
02-06 412
[code="java"]private boolean isValueSame(Object o1, Object o2) { if (o1 == null && o2 == null) { return true; } else if (o1 != null && o2 != null) { if (o1 instanceof java....
判断两个参数是否相等
fydxx的博客
03-04 1092
function diff(obj1, obj2) { if(typeof obj1 !== typeof obj2) { return false; } else { switch (typeof obj1) { case "number": case "string": ca...
pytorch 中判断两个tensor 是否相等 输出 为 0，1
真的是个瘦子
09-18 1万+
Pytorch中判断两个tensor是否相等
03-10 6910
使用equal 张量比较 原型：equal(other) 比较两个张量是否相等–相等返回：True; 否则返回：False import torch a = torch.tensor([4, 2, 3, 4]) b = torch.tensor([4, 2, 3, 4]) print(a.equal(b) # 返回结果：True 使用eq 逐元素判断 原型：eq(other) 比较两个张量tensor中，每一个对应位置上元素是否相等–对应位置相等，就返回一个1；否则返回一个0. imp
讨论PyTorch中模型加载时参数不一致的情况
敲代码的小风
03-13 7925
参考链接: torch.nn.Module.load_state_dict(state_dict, strict=True) 首先保存参数不同的模型: 保存模型的代码: # 分别为来自CPU和GPU的模型保存参数， # 并再次将模型的参数加载到位于CPU或者GPU的模型上 import torch import torch.nn as nn torch.manual_seed(seed=20200910) class Model(torch.nn.Module): def __init__(se
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值