分布式深度学习系列

分布式深度学习系列

探究分布式深度学习系统的研究现状和应用关键点。

1 神经网络的分布式训练介绍

主要分为模型并行和数据并行，也可以综合使用。

建议使用数据并行，具备更丰富的理论研究空间，模型并行显得更苍白。

涉及随机梯度下降（SGD），参数服务器等概念。…

细节部分容后再续。

参考文献

• Distributed Deep Learning

[1] Kai Chen and Qiang Huo. Scalable training of deep learning machines by incremental block training with intra-block parallel optimization and blockwise model-update filtering. In 2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages 5880–5884. IEEE, 2016.

[2] Jeffrey Dean, Greg Corrado, Rajat Monga, Kai Chen, Matthieu Devin, Mark Mao, Andrew Senior, Paul Tucker, Ke Yang, Quoc V Le, et al. Large scale distributed deep networks. In Advances in Ne