70、深度学习中的关键技术与优化策略

深度学习中的关键技术与优化策略

1. Dropout与MC Dropout对训练和推理速度的影响

Dropout 通常会使训练速度大致减慢两倍，但它对推理速度没有影响，因为它仅在训练期间开启。而 MC Dropout 在训练时与 Dropout 相同，但在推理时仍然有效，这会使每次推理稍微变慢。更重要的是，使用 MC Dropout 时，通常需要进行 10 次或更多次推理以获得更好的预测结果，这意味着预测速度会减慢 10 倍或更多。

2. TensorFlow 基础

2.1 TensorFlow 概述

TensorFlow 是一个开源的数值计算库，特别适合和优化用于大规模机器学习。它的核心与 NumPy 类似，但还具有 GPU 支持、分布式计算支持、计算图分析和优化能力等。其他流行的深度学习库包括 PyTorch、MXNet 等。

2.2 与 NumPy 的区别

虽然 TensorFlow 提供了 NumPy 的大部分功能，但它不能直接替代 NumPy，原因如下：
- 函数名称不同，例如 tf.reduce_sum() 与 np.sum() 。
- 部分函数行为不同，如 tf.transpose() 创建张量的转置副本，而 NumPy 的 T 属性创建转置视图，不复制数据。
- NumPy 数组是可变的，而 TensorFlow 张量不可变，但可以使用 tf.Variable 创建可变对象。

2.3 数据类型差