cyy2learn的博客

问题现状随着深度学习模型越来越大，数据集越来越大，模型的训练变得越来越慢。这对于想要快速验证算法的研究人员来说，是个比较麻烦的问题。那么一般来说，我们会想要优化模型训练，以期更快验证模型效果。无论是使用Tensorflow还是Pytorch来搭建模型，基本的训练优化思路都是一致的，只是由于框架的不同，某些优化细节有些差别。这里探讨的是模型在GPU上的训练优化。基本的训练优化思路Step 1 优化模型在单机单卡上的训练 Step 2 优化模型在单机多卡上的训练 Step 3 优化模

原文出处： 我爱计算机 （@tobe迪豪 ）   作者: 陈迪豪，就职小米科技，深度学习工程师，TensorFlow代码提交者。TensorFlow深度学习框架Google不仅是大数据和云计算的领导者，在机器学习和深度学习上也有很好的实践和积累，在2015年年底开源了内部使用的深度学习框架TensorFlow。与Caffe、Theano、Torch、MXNe