67、大规模训练与部署TensorFlow模型指南

大规模训练与部署TensorFlow模型指南

1. 数据并行与集中参数策略

如果你想尝试使用带有集中参数的数据并行，可以将 MirroredStrategy 替换为 CentralStorageStrategy ：

distribution = tf.distribute.experimental.CentralStorageStrategy()

你可以选择设置 compute_devices 参数来指定要用作工作器的设备列表（默认情况下，它将使用所有可用的GPU），还可以选择设置 parameter_device 参数来指定要存储参数的设备（默认情况下，它将使用CPU，如果只有一个GPU，则使用该GPU）。

2. 在TensorFlow集群上训练模型

TensorFlow集群是一组并行运行的TensorFlow进程，通常分布在不同的机器上，它们相互通信以完成某些工作，例如训练或执行神经网络。集群中的每个TF进程称为一个任务或TF服务器，它有一个IP地址、一个端口和一个类型（也称为其角色或作业）。类型可以是 “worker”（工作器）、”chief”（主节点）、”ps”（参数服务器）或 “evaluator”（评估器）：
- 工作器（worker） ：执行计算，通常在具有一个或多个GPU的机器上运行。
- 主节点（chief） ：同样执行计算（本