qq_36300061的博客

Tensorflow分布式训练过程中所遇到的问题之前发过一篇文章也是关于在tensorflow上进行分布式训练的，当时只是初步的实现了这个方案，但是后来发现这个方案有问题，并且直到现在我也没有解决，不知道有没有大佬遇到过类似的问题。因为研究方向的问题，在深度学习的过程中，需要做到对训练过程中的梯度做一些变换，我们知道在tensorflowd在参数更新的时候其实是分为两步的，一步是tf.gradients(), 通过给定的损失函数以及训练参数计算得到与之对应的梯度，该op返回的是一个list,其中包含着每

Tensorflow在分布式下的梯度更新通常采用同步更新或者异步更新，在这里就不在赘述他们的优缺点了。在同步更新下，一般会用到一下函数 Sync_op = tf.train.SyncReplicasOptimizer(optimizer, replicas_to_aggregate=len( worker_hosts), replica_id=FLAGS.task_index,