机器学习中的随机数种子(巨坑)

在复现机器学习代码的时候遇到了这个问题,尽管设置了固定的随机种子,每次运行生成的随机数还是不一样,具体表现为:

1.代码版本从tensorflow转换到pytorch后,随机数改变
这个很好理解,毕竟不同框架生成随机数的机制都不一样

# tensorflow
tf.random.set_seed(1)

#pytorch
torch.manual_seed(1)
torch.cuda.manual_seed_all(1)

2.同一份代码在不同设备上结果也不一样
这个也可以理解,安装的python和random库都不一样

3.用到了GPU但是设置不一样
这个是最匪夷所思的,明明我就只有一块GPU,设置方式一居然没有办法让每次运行的结果一样,而且在这个基础上跑代码得到的各种曲线也非常奇怪,最后换成方法二定义随机数种子才固定下来

# 方法一
torch.cuda.manual_seed(seed)
# 或者
if torch.cuda.is_available():
    torch.cuda.manual_seed_all(seed)

#方法二
torch.cuda.manual_seed_all(seed)

具体更深层次的原因没有继续寻找了,不得不说机器学习真的是玄学

补充个比较详细的参考链接Pytorch坑——模型可复现性实现，随机种子设置_bob模型复现-优快云博客