24、TensorFlow的分布式模型、移动端应用及在R语言中的使用

TensorFlow的分布式模型、移动端应用及在R语言中的使用

1. TensorFlow分布式训练

在分布式训练中，监督对象的创建有所不同，有两个额外的初始化函数：

# SYNC: sv is initialized differently for sync update
sv = tf.train.Supervisor(is_chief=is_chief,
    init_op = tf.global_variables_initializer(),
    local_init_op = local_init_op,
    ready_for_local_init_op = optimizer.ready_for_local_init_op,
    global_step=global_step)

在训练的会话块中，如果是主工作任务，需要初始化同步变量并启动队列运行器：

# SYNC: if block added to make it sync update
if is_chief:
    mts.run(init_token_op)
    sv.start_queue_runners(mts, [chief_queue_runner])

其余代码与异步更新相同。参数更新可以通过同步或异步方式共享给参数服务器。

1.1 分布式训练的优势

• 模型并行 ：将模型的不同部分分布到