【PyTorch】torch.backends.cudnn.benchmark 和 torch.backends.cudnn.deterministic

1. torch.backends.cudnn.benchmark

在 PyTorch 中，torch.backends.cudnn.benchmark 是一个配置选项，用于在运行时自动选择最优的卷积算法，以提高计算效率。这个设置特别针对使用 CUDA 和 cuDNN 库进行的运算，并在使用具有变化输入尺寸的网络时有很大帮助。让我们更详细地解释这个设置的功能和应用场景。

什么是 cuDNN？

cuDNN (CUDA Deep Neural Network library) 是 NVIDIA 提供的一个 GPU 加速库，专门用于深度学习。它提供了高度优化的卷积操作、池化、归一化以及激活层等，是构建高效深度学习模型的重要组件。

功能解释

• torch.backends.cudnn.benchmark = True：
  当设置为 True 时，这个配置会使 cuDNN 在启动时自动寻找最适合当前配置（包括层的尺寸和形状）的卷积算法，这可能会在你的模型运行时提供显著的速度提升。尤其是对于那些层尺寸和数据批量大小不会变化的模型来说。

• torch.backends.cudnn.benchmark = False：
  当设置为 False 时，cuDNN 将使用默认的卷积算法，可能不是最优的选择，但适用于模型的输入尺寸如果会在运行过程中改变的情况。因为在每次输入尺寸改变时，benchmark=True 会重新搜索最优算法，这个搜索过程本身可能会带来额外的开销。

使用场景

1. 固定输入尺寸的模型：
   如果你的模型输入尺寸（例如，图像尺寸和批处理大小）是固定的，设置 torch.backends.cudnn.benchmark = True 是有益的，因为它会自动挑选最快的算法来执行计算。

2. 变化输入尺寸的模型：
   如果输入尺寸可能发生变化（如在处理不同尺寸的图像时），开启 benchmark 可能导致性能下降，因为每次输入尺寸改变时，cuDNN 都可能重新搜索算法。在这种情况下，设置 torch.backends.cudnn.benchmark = False 可能更合适。

示例代码

开启 cuDNN benchmark 通常在模型的初始化或配置阶段完成：

import torch

# 开启 benchmark 以优化运行效率
torch.backends.cudnn.benchmark = True

# 构建和训练模型
model = MyModel().cuda()
# 进行训练等后续操作

总结

torch.backends.cudnn.benchmark 的设置取决于你的具体应用需求。开启这一选项可以加速相同输入尺寸的模型训练和推理，但如果模型处理的输入尺寸频繁变动，可能需要关闭它以避免额外的性能开销。在实际应用中，可以根据模型的具体情况和硬件配置进行适当的测试和调整。

2. torch.backends.cudnn.deterministic

在 PyTorch 中，torch.backends.cudnn.deterministic 设置是一个重要的配置选项，用于确保在使用 CUDA 和 cuDNN 库时能够获得确定性（可重复）的结果。这个设置对于深度学习的研究和实验非常有用，尤其是在需要确保实验结果可重复的情况下。

功能和用途

• 确定性操作：当 torch.backends.cudnn.deterministic 设置为 True 时，这保证了每次运行的结果都是一样的，即使用相同的输入和模型参数，无论运行多少次，输出都将保持不变。这主要是通过固定卷积算法来实现的，避免了那些可能引入非确定性的快速卷积方法。

• 性能考量：虽然开启确定性设置可以保证操作的一致性，但它可能会牺牲一些性能，因为它限制了 cuDNN 优化算法的选择范围，不允许使用那些虽快但可能导致结果轻微不同的算法。

使用场景

• 模型训练和测试：在进行模型训练和测试时，尤其在调参和算法比较时，确定性往往是非常重要的。通过设置确定性操作，可以确保每次实验的结果都是可复现的，从而允许研究人员准确地比较不同模型配置的影响。
• 科学研究和出版：在准备科学论文或报告时，可重复的结果是必需的。使用确定性设置可以帮助研究人员确保他们公布的结果可以被其他团队验证和复现。

示例代码

下面是如何在 PyTorch 中配置确定性设置的示例：

import torch

# 开启确定性算法
torch.backends.cudnn.deterministic = True

# 可选：关闭非确定性算法，进一步确保确定性
torch.backends.cudnn.benchmark = False

# 构建和训练模型
model = MyModel().cuda()
# 进行训练和评估

注意事项

• 性能影响：开启确定性可能会导致性能下降，因为它限制了 cuDNN 使用只有那些确定性算法。在实际使用中，你可能需要权衡确定性和性能之间的关系。
• 全面性：尽管开启了确定性设置，但在一些极端情况下（如使用特定类型的 GPU 或特定的并行计算设置），完全的确定性仍然难以保证。因此，实际操作时可能需要进行额外的配置或测试。
• 与其他设置配合：为了最大化确定性，通常建议同时设置 Python、NumPy 和 PyTorch 的随机种子，以及关闭 PyTorch 的 benchmark 模式。

总结来说，torch.backends.cudnn.deterministic 是 PyTorch 中一个重要的配置，适用于需要确保深度学习实验结果完全可重复的场景。这对于科学研究和算法的准确评估尤其重要，但开启此设置可能会对性能造成影响。