69、深度学习中的技术与优化策略

深度学习中的技术与优化策略

一、Dropout与MC Dropout对训练和推理速度的影响

1. Dropout

Dropout 通常会使训练速度大致减慢两倍。不过，它对推理速度没有影响，因为它仅在训练期间开启。

2. MC Dropout

MC Dropout 在训练时与 Dropout 相同，但在推理时仍然处于激活状态，所以每次推理会稍有减慢。更重要的是，使用 MC Dropout 时，通常需要进行 10 次或更多次推理以获得更好的预测结果，这意味着预测速度会减慢 10 倍或更多。

二、TensorFlow 基础

1. TensorFlow 简介

TensorFlow 是一个用于数值计算的开源库，特别适合和优化用于大规模机器学习。它的核心与 NumPy 类似，但还具有 GPU 支持、分布式计算支持、计算图分析和优化能力，以及基于反向自动微分的优化 API 等。其他流行的深度学习库包括 PyTorch、MXNet 等。

2. 与 NumPy 的区别

虽然 TensorFlow 提供了 NumPy 的大部分功能，但它不能直接替代 NumPy，原因如下：
- 函数名称不同 ：例如 tf.reduce_sum() 与 np.sum() 。
- 函数行为不同 ：如 tf.transpose() 创建张量的转置副本，而 NumPy 的 T