本文探讨了GPU在深度学习网络训练中的加速效果。指出在小规模网络中，GPU可能不如CPU高效；但随着网络规模增大，GPU能显著提高训练速度。通过实例展示了在大规模网络上，GPU相较于CPU的显著加速比。
为什么GPU训练网络还不如CPU快
当网络规模较小的时候，GPU是无法体现出计算上的优势的，可能不光没有加速效果，反而还不如CPU训练的快。
只要加大网络规模，当网络足够大的时候，GPU才能显示出它的加速效果
Pytorch官网的这篇tutorial也提到相关的内容
如下
将下图红框参数都改为200
在我笔记本上的加速效果如下,有三倍多的速度提升
CPU训练用时20m0s
GPU训练用时5m59s
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
