分布式tensorflow测试同步更新结果及问题

最新推荐文章于 2022-03-10 12:43:38 发布

__Sunny__

最新推荐文章于 2022-03-10 12:43:38 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： TensorFlow 文章标签： TensorFlow

本文链接：https://blog.youkuaiyun.com/s_sunnyy/article/details/71173142

TensorFlow 专栏收录该内容

60 篇文章

订阅专栏

这篇博客记录了4个节点使用TensorFlow进行同步更新的测试过程，详细列出了每个任务ID在不同步骤的训练速度。尽管遇到了速度不一致和效率问题，但测试结果显示了分布式训练的基本流程。

这一篇博客写了异步更新的结果，本篇是4个节点同步更新的测试结果，问题跟那篇博客一样。

task_id=0
step 5 (34.5 examples/sec; 3.708 sec/batch)
step 10 (31.8 examples/sec; 4.026 sec/batch)
step 10 (33.0 examples/sec; 3.880 sec/batch)
step 15 (32.7 examples/sec; 3.916 sec/batch)
step 15 (38.3 examples/sec; 3.341 sec/batch)
step 20 (33.0 examples/sec; 3.883 sec/batch)
step 25 (30.4 examples/sec; 4.215 sec/batch)
step 60 (34.1 examples/sec; 3.757 sec/batch)
step 65 (31.2 examples/sec; 4.104 sec/batch)

task_id=1
step 5 (27.1 examples/sec; 4.720 sec/batch)
step 5 (22.9 examples/sec; 5.582 sec/batch)
step 10 (23.7 examples/sec; 5.106 sec/batch)
step 15 (22.4 examples/sec; 5.727 sec/batch)
step 20 (22.5 examples/sec; 5.687 sec/batch)
step 25 (24.8 examples/sec; 5.161 sec/batch)
step 30 (27.2 examples/sec; 4.705 sec/batch)
step 30 (24.1 examples/sec; 5.304 sec/batch)
step 35 (25.2 examples/sec; 5.084 sec/batch)

task_id=2
step 5 (25.5 examples/sec; 5.013 sec/batch)
step 10 (27.4 examples/sec; 4.672 sec/batch)
step 15 (27.4 examples/sec; 4.671 sec/batch)
step 20 (21.6 examples/sec; 5.928 sec/batch)
step 25 (25.2 examples/sec; 5.070 sec/batch)
step 25 (26.7 examples/sec; 4.794 sec/batch)
step 30 (21.5 examples/sec; 5.943 sec/batch)
step 35 (27.1 examples/sec; 4.718 sec/batch)
step 35 (25.2 examples/sec; 5.087 sec/batch)

task_id=3
step 20 (8.6 examples/sec; 14.826 sec/batch)