比较两个深度学习模型的参数,在有long情况下是否相等的,依旧可行方法

把深度学习模型的参数存下来
存储了两个模型参数,有long情况下依旧可行的比较参数是否相等方法
torch.allclose()

一、函数讲解

1.1 torch.allclose()

torch.allclose(input, other, rtol=1e-05, atol=1e-08, equal_nan=False)

1.2 参数解释

  1. input: 待比较的第一个 Tensor。
  2. other: 待比较的第二个 Tensor。
  3. rtol: 相对容差,默认为 1e-5。
  4. atol: 绝对容差,默认为 1e-8。
  5. equal_nan: 是否将 NaN 视为相等,默认为 False。

1.3 函数分析

  • 会逐元素地比较 input 和 other 两个 Tensor,并返回一个布尔值,表示它们是否近似相等。所谓近似相等,是指对于每一个元素,满足以下条件:

|input[i] - other[i]| <= atol + rtol * |other[i]|

  • 也就是说,两个元素的绝对差值小于等于绝对容差 atol 加上相对容差 rtol 乘以另一个元素的绝对值。

  • 这个函数在比较浮点数 Tensor 时非常有用,因为直接使用 == 运算符会很容易出现精度问题

  • 使用 torch.allclose() 可以解决这一问题,同时还可以调整容差大小以适应不同的需求

二、代码实现

2.1 导入包

import torch.nn as nn
import torch

2.2 L2范数计算

   if all(torch.allclose(self.b[k], self.c[k]) for k in self.b):
   # if len(self.b) == len(self.c) and all(self.b[k] == self.c[k] for k in self.b):
       print("参数一样")
   else:
       print("参数不一样")

2.3 注意的地方

  • 上述代码在有long的情况下也可也实现
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值