【更新发布】TensorFlow 2.4 新功能一览！

原创

于 2020-12-23 17:09:13 发布 · 7k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #机器学习 #深度学习 #tensorflow #神经网络

TensorFlow 2.4 发布，引入了 tf.distribute 参数服务器策略和混合精度 API，优化了 Keras 功能，推出了 tf.experimental.numpy，并增强了性能分析工具。现在支持 CUDA 11 和 cuDNN 8，启用 TensorFloat-32 加速，并提供了多工作器性能分析功能。同时，Keras 混合精度 API 成为稳定版，让 GPU 训练速度提升。

TensorFlow 2.4 正式发布！随着对分布式训练和混合精度提供更多支持，加入新的 Numpy 前端及用于监控和诊断性能瓶颈的工具，这个版本的亮点在于推出新功能，以及对性能和扩展方面的增强。

tf.distribute 的新增功能

参数服务器策略

在版本 2.4 中，实验性引入了 tf.distribute 模块的支持，可通过 ParameterServerStrategy 和自定义训练循环对 Keras 模型进行异步训练。与 MultiWorkerMirroredStrategy 一样，ParameterServerStrategy 是一种多工作器数据并行策略；但其梯度更新方式为异步执行。

参数服务器训练集群包含工作节点和参数服务器。系统会在参数服务器上创建变量，然后工作节点会在每个步骤中进行读取和更新。变量的读取和更新会在各工作节点上独立进行，同时无需采取任何同步操作。由于工作节点互不依赖，因此该策略具有工作器容错的优势，并会在使用抢占式服务器时有所助益。

如要开始使用此策略，请查阅参数服务器训练教程。此教程介绍了如何设置 ParameterServerStrategy，并说明了如何使用 ClusterCoordinator 类来创建资源、调度函数和处理任务失败。

多工作节点镜像策略

MultiWorkerMirroredStrategy 多工作节点镜像策略已顺利度过实验阶段，现已成为稳定 API 的组成部分。与单个工作节点副本 MirroredStrategy 一样，