cnn
关注
分享
扫一扫
文章平均质量分 68
zhouzimail
这个作者很懒，什么都没留下…
展开
-
总结：One weird trick for parallelizing convolutional neural networks
该文中，作者提出了两种并行方法，data parallelism和model parallelism.data parallelism：不同的worker跑不同的数据样例。model parallelism：不同的worker跑同一个model中的不同部分（如神经元）而为了更大程度的进行并行化，针对卷积层和全连接层的不同性质，采用不同的并行方法。即在训练cnn模型的过程中，结合原创 2015-01-17 21:36:43 · 2546 阅读 · 0 评论 -
总结：Large Scale Distributed Deep Networks
其中的并行思想有两部分：1. 通过model parallel实现多个machine训练单个模型2.通过复制 1 中训练的单个模型， 异步训练不同的数据集（data parallel）详解上面两种思想的实现：1.model parallel：将整个神经网络的的神经元划分到不同的机器上，只有处于机器边际的节点间才通过通信交换数据。2.data parall原创 2015-01-24 12:27:50 · 2572 阅读 · 0 评论