15、利用有效图遍历加速设备放置中的深度学习训练

利用有效图遍历加速设备放置中的深度学习训练

在深度学习训练中，设备放置对于加速模型并行训练至关重要。本文将探讨图遍历顺序对设备放置的影响，并通过实验分析不同图遍历顺序在不同数据集上的表现，最后给出选择图遍历顺序的实用指南。

1. 实验设置

• 图遍历顺序实现 ：使用 NetworkX 实现了六种图遍历顺序，分别为拓扑排序（topo）、反向拓扑排序（reversed - topo）、深度优先前序遍历（dfs - preorder）、深度优先后序遍历（dfs - postorder）、广度优先遍历（bfs）和字典序遍历（lexico）。
• Placeto 实现 ：采用基于原始实现的 Placeto 实现，使用相同的模拟器模拟不同数量设备的物理执行环境。
• 实验数据集和设备数量 ：对三个数据集的图分别在 3、5 和 8 个设备上进行实验。
• 重复实验 ：为减少随机因素对实验结果的影响，对相同设置（数据集和设备数量）进行独立重复实验，经比较发现 10 次重复实验能在计算负载和结果可重复性之间取得良好平衡。
• 实验环境 ：在配备 AMD Ryzen Threadripper 2920X 12 - Core 处理器和 128 GB RAM 的独立基准机器上进行实验。为加快实验进程，使用并行 Docker 容器，每个容器运行一个实验。实验使用 TensorFlow 和 NetworkX 库，具体代码和软件设置可参考