66、TensorFlow多设备并行计算与模型训练全解析

TensorFlow多设备并行计算与模型训练全解析

1. TensorFlow设备分配与并行执行

当TensorFlow的设备分配请求失败时，它会采用默认的分配规则。若存在GPU且有对应的GPU内核，默认使用GPU 0；否则使用CPU 0。

TensorFlow在多设备上执行操作的流程如下：
- 分析TF函数的计算图，找出需要评估的操作列表，并统计每个操作的依赖数量。
- 将无依赖的操作（源操作）添加到对应设备的评估队列。
- 操作评估完成后，减少依赖该操作的其他操作的依赖计数器。
- 当某个操作的依赖计数器变为0时，将其添加到对应设备的评估队列。
- 所有必要节点评估完成后，返回输出。

下面是不同设备上操作执行的具体情况：
| 设备类型 | 评估队列操作方式 | 线程池情况 |
| ---- | ---- | ---- |
| CPU | 操作被分发到inter - op线程池，多核CPU可并行评估操作。部分操作有多线程CPU内核，其任务会被拆分为子操作，放入intra - op线程池并行执行。 | 有inter - op和intra - op两个线程池 |
| GPU | 操作按顺序评估。多数操作有多线程GPU内核，通常由CUDA和cuDNN等库实现，这些库有自己的线程池，会尽可能利用GPU线程。 | 无需inter - op线程池 |

示例：假设有操作A、B、C为源操作。A和B在CPU上，会被发送到CPU评估队列，再分发到inter - op线程池并行评估。A有多线程内核，其计算会被拆分为三部分，由intra - op线程池并行执行。C在GPU 0上，若其GPU内核