Sloudy的专栏

http://blog.sina.com.cn/s/blog_81f72ca70101kuk9.html大规模分布式深度网络（Large Scale Distributed Deep Networks）Jeffrey Dean, Greg S. Corrado, Rajat Monga, Kai Chen, Matthieu Devin, Quoc V. Le,

目的： 1.提供大规模的计算能力，为了能够快速训练 2.能够训练大型的模型； 3.能够方便你使用各种模型，优化方法和调整参数。 三种Frameworks： Multi-GPU, data parallelismL: 模型复制到多个GPU上，数据并行的传入GPU进行训练，每轮训练需要进行parameters collection和parameters distr

我们来用python实现一个LeNet识别手写数字的例子。 LeNet的模型结构如下图所示： 整个模型涉及到这样几个Layer： Convolutional Layer、Pooling Layer、InnerProduct Layer、Activation Layer、Accuracy Layer、Softmax Layer Convolutional Layer： 输入是一个