[pytorch] 每次训练的结果都不同（无法复现）

最新推荐文章于 2024-03-18 13:33:38 发布

原创最新推荐文章于 2024-03-18 13:33:38 发布 · 1.3w 阅读

23 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch

工具性知识点同时被 2 个专栏收录

92 篇文章

订阅专栏

pytorch

5 篇文章

订阅专栏

本文详细介绍了在使用PyTorch进行深度学习模型训练时遇到的非确定性问题，包括没有设置随机种子导致的训练结果不一致。文章提供了具体的解决方案，如设置torch、numpy和python的随机种子，禁用cudnn的benchmark模式，确保训练过程的可重复性和确定性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原因：没有设置seed，torch的一些操作有随机性。

解决：https://github.com/pytorch/pytorch/issues/7068

    torch.manual_seed(seed)
    torch.cuda.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)  # if you are using multi-GPU.
    np.random.seed(seed)  # Numpy module.
    random.seed(seed)  # Python random module.
    torch.manual_seed(seed)
    torch.backends.cudnn.benchmark = False
    torch.backends.cudnn.deterministic = True
    def _init_fn(worker_id):
        np.random.seed(int(seed)