把深度学习模型的参数存下来
存储了两个模型参数,有long情况下依旧可行的比较参数是否相等方法
torch.allclose()
一、函数讲解
1.1 torch.allclose()
torch.allclose(input, other, rtol=1e-05, atol=1e-08, equal_nan=False)
1.2 参数解释
- input: 待比较的第一个 Tensor。
- other: 待比较的第二个 Tensor。
- rtol: 相对容差,默认为 1e-5。
- atol: 绝对容差,默认为 1e-8。
- equal_nan: 是否将 NaN 视为相等,默认为 False。
1.3 函数分析
- 会逐元素地比较 input 和 other 两个 Tensor,并返回一个布尔值,表示它们是否近似相等。所谓近似相等,是指对于每一个元素,满足以下条件:
|input[i] - other[i]| <= atol + rtol * |other[i]|
-
也就是说,两个元素的绝对差值小于等于绝对容差 atol 加上相对容差 rtol 乘以另一个元素的绝对值。
-
这个函数在比较浮点数 Tensor 时非常有用,因为直接使用 == 运算符会很容易出现精度问题
-
使用 torch.allclose() 可以解决这一问题,同时还可以调整容差大小以适应不同的需求。
二、代码实现
2.1 导入包
import torch.nn as nn
import torch
2.2 L2范数计算
if all(torch.allclose(self.b[k], self.c[k]) for k in self.b):
# if len(self.b) == len(self.c) and all(self.b[k] == self.c[k] for k in self.b):
print("参数一样")
else:
print("参数不一样")
2.3 注意的地方
- 上述代码在有long的情况下也可也实现