Large Scale Distributed Deep Networks 阅读笔记

Large Scale Distributed Deep Networks

Jeffrey Dean, Greg S. Corrado, Rajat Monga, Kai Chen,

Matthieu Devin, Quoc V. Le, Mark Z. Mao, Marc’Aurelio Ranzato,

Andrew Senior, Paul Tucker, Ke Yang, Andrew Y. Ng

fjeff, gcorradog@google.com

Google Inc., Mountain View, CA

    这篇论文讲了大规模分布式深度网络，文章提出利用DistBelief这一软件框架，可以在大规模集群上分布地对深度神经网络进行训练和推断。文章开发出了两个适用于大规模分布式训练的算法：Downpour SGD和Sandblaster L-BFGS。在实验中，这两种算法对深度神经网络的训练都取得了良好的效果。

       对于大型模型，可能需要将模型划分给多个节点（机器），每个节点之间并行计算，节点内部通过多线程也并行计算，这在一个DistBelief实例上实现。这称为模型的并行化。另外，为了进一步减少训练时间（机器足够多），可以启动多个DistBelief实例，每个DistBelief实例拥有一个模型的副本。这些DistBelief实例并行地运行，从而实现二级并行化。

       在Downpour SGD算法中，每个模型副本运行在训练数据的一个子集上。多个模型副本之间通过中心参数服务器（多台机器）交流更新，该中心参数服务器维护了模型所有参数的当前状态，并分割到多台机器上。该方法在两个方面体现异步性：(i)模型副本之间运行独立，(ii)参数服务器各节点之间同样是独立的。

    在Sandblaster L-BFGS算法中，每个模型副本运行在全体训练数据上。算法的核心在协调器上，它通过发出一系列命令使参数的存储和操作分布化。使用该方法，由协调器控制任务分配与参数传递。