12、提升深度学习模型训练与推理效率的技术探索

提升深度学习模型训练与推理效率的技术探索

在深度学习模型的训练和推理过程中，提升系统吞吐量和降低延迟是至关重要的目标。本文将介绍几种有效的优化技术，包括利用系统内存和存储资源、模型分解与蒸馏以及混合数据和模型并行等方法。

1. 探索内存和存储资源

基于 GPU 的 DNN 训练面临着设备内存大小的限制。为了扩展 GPU 训练内存大小，我们可以利用系统内的其他存储资源，如 CPU 内存和硬盘。

1.1 系统存储规格与连接

以下是一些先进硬件机器（如 NVIDIA DGX - 1 和 DGX - 2）的存储规格：
|存储类型|容量|
| ---- | ---- |
|GPU 内存|约 40GB|
|CPU 内存（主内存）|约 100 - 200GB|
|磁盘存储|约数十 TB|

GPU 和磁盘都通过 PCIe 总线与 CPU 连接，数据传输速度约为 10 - 15GB/s。

由于 CPU 内存和磁盘存储比 GPU 内存大得多，当 GPU 内存不足以保存 DNN 模型训练的中间结果时，我们可以将其移动到 CPU 内存或磁盘。需要使用这些数据块时，再从 CPU 内存或磁盘预取到 GPU 内存。

1.2 数据存储与加载操作

我们可以从保存和加载两个方向利用 CPU 内存和磁盘存储。

保存数据 ：
1. 调用 data.to(cpu) 将数据从 GPU 内存移动到 CPU 内存。
2. 同步此数据移动函数调用并等待其完成。