66、TensorFlow多设备并行执行与模型训练指南

TensorFlow多设备并行执行与模型训练指南

1. TensorFlow多设备并行执行原理

TensorFlow默认会根据规则将操作放置在设备上，若存在GPU且有GPU内核，默认放在GPU 0，否则放在CPU 0。当运行TF Function时，TensorFlow会按以下步骤执行操作：
1. 分析图并确定操作列表 ：分析TF Function的图，找出需要评估的操作列表，并统计每个操作的依赖数量。
2. 将无依赖操作加入评估队列 ：把无依赖的操作（即源操作）添加到其所在设备的评估队列。
3. 执行操作并更新依赖计数器 ：操作执行后，减少依赖该操作的其他操作的依赖计数器。当某个操作的依赖计数器降为0时，将其加入所在设备的评估队列。
4. 返回输出 ：所有需要的节点评估完成后，返回它们的输出。

以下是CPU和GPU操作执行的具体情况：
|设备|操作执行方式|
| ---- | ---- |
|CPU|操作在CPU评估队列中被分发到一个名为inter - op线程池的线程池。若CPU有多个核心，这些操作可并行评估。部分操作有多线程CPU内核，会将任务拆分为多个子操作，放入另一个评估队列，并分发到intra - op线程池（所有多线程CPU内核共享）。|
|GPU|GPU评估队列中的操作按顺序评估。大多数操作有多线程GPU内核，通常由TensorFlow依赖的库（如CUDA和cuDNN）实现，这些实现有自己的线程池，会充分利用GPU线程。|

例如，在一个