66、TensorFlow多设备并行计算与模型训练指南

TensorFlow多设备并行计算与模型训练指南

1. TensorFlow设备放置与并行执行

当TensorFlow的放置请求失败时，它会回退到默认的放置规则：如果存在GPU且有对应的GPU内核，默认使用GPU 0；否则使用CPU 0。那么，TensorFlow究竟如何在多个设备上执行操作呢？

1.1 多设备并行执行原理

TensorFlow运行TF函数时，会先分析图以找出需要评估的操作列表，并统计每个操作的依赖数量。然后，将无依赖的操作（即源操作）添加到其所在设备的评估队列中。操作评估完成后，依赖该操作的其他操作的依赖计数器会减1。当某个操作的依赖计数器变为0时，它会被推入其所在设备的评估队列。所有所需节点评估完成后，TensorFlow返回其输出。

1.2 CPU和GPU的操作执行方式

• CPU ：CPU评估队列中的操作会被分发到一个名为 inter-op 线程池的线程池。若CPU有多个核心，这些操作可并行评估。部分操作具有多线程CPU内核，这些内核会将任务拆分为多个子操作，放入另一个评估队列，并分发到名为 intra-op 线程池的第二个线程池（所有多线程CPU内核共享）。因此，多个操作和子操作可在不同CPU核心上并行评估。
• GPU ：GPU评估队列中的操作按顺序评估。不过，大多数操作具有多线程GPU内核，通常由TensorFlow依赖的库（如CUDA和cuDNN）实现。这些实现有自己的线程池，会尽可能利用多个GPU线程，所以GPU无需 in