66、TensorFlow多设备并行计算与模型训练指南

TensorFlow多设备并行计算与模型训练指南

1. TensorFlow多设备执行操作原理

TensorFlow默认会根据规则放置操作，若存在GPU且有GPU内核，默认放置在GPU 0，否则放在CPU 0。那么，TensorFlow如何在多个设备上执行操作呢？

当运行TF函数时，TensorFlow会先分析图，找出需要评估的操作列表，并统计每个操作的依赖数量。将无依赖的操作（源操作）添加到其所在设备的评估队列。操作评估完成后，依赖该操作的其他操作的依赖计数器减1。当某个操作的依赖计数器为0时，将其推入所在设备的评估队列。所有节点评估完成后，返回输出。

以下是不同设备的执行情况：
- CPU ：CPU评估队列中的操作会被分发到一个名为“inter - op线程池”的线程池。若CPU有多个核心，这些操作可并行评估。部分操作有多线程CPU内核，会将任务拆分为多个子操作，放入另一个评估队列，并分发到“intra - op线程池”（所有多线程CPU内核共享）。
- GPU ：GPU评估队列中的操作按顺序评估。不过，大多数操作有多线程GPU内核，通常由TensorFlow依赖的库（如CUDA和cuDNN）实现。这些实现有自己的线程池，会尽可能利用更多GPU线程，因此GPU无需“inter - op线程池”。

例如，有操作A、B、C为源操作：
- A和B放在CPU，进入CPU评估队列，分发到“inter - op线程池”并行评估。A有一个多线程内核，其计算被拆分为三部分，由“intra - op线程池”并行执行。
- C进入GPU 0的评估队列，其GPU内