Deterministic Pytorch： pytorch如何保证可重复性

 

       要想整个模型是确定性的，我们需要设定好随机种子，这样当程序运行到具有random的模块时，由于伪随机的种子是相同的，那么随机得到的结果也是相同的。需要设定的随机种子如下。

def set_seed(self, seed=0):
    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed) #为CPU设置种子用于生成随机数，以使得结果是确定的
    torch.cuda.manual_seed(seed) #为当前GPU设置随机种子；
    torch.cuda.manual_seed_all(seed) #如果使用多个GPU，为所有的GPU设置种子。
    torch.backends.cudnn.deterministic = True # CPU和GPU结果一致
    torch.backends.cudnn.benchmark = False

cuDNN使用非确定性算法，并且可以使用torch.backends.cudnn.enabled = False来进行禁用

如果设置为torch.backends.cudnn.enabled =True，说明设置为使用使用非确定性算法

然后再设置：

torch.backends.cudnn.benchmark = true

那么cuDNN使用的非确定性算法就会自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题

一般来讲，应该遵循以下准则：

如果网络的输入数据维度或类型上变化不大，设置  torch.backends.cudnn.benchmark = true  可以增加运行效率；

如果网络的输入数据在每次 iteration 都变化的话，会导致 cnDNN 每次都会去寻找一遍最优配置，这样反而会降低运行效率。

所以我们经常看见在代码开始出两者同时设置：

torch.backends.cudnn.enabled = True
torch.backends.cudnn.benchmark = True

以上这篇浅谈pytorch torch.backends.cudnn设置作用就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。