如何将caffe的data prefetch变为多线程预取?
在深度学习研究时,数据预取会经常成为训练的瓶颈,一般来说,判断瓶颈的时候,看GPU利用率即可。通过nvidia-smi或者watch -n 1 nvidia-smi(实时刷新)都可查看GPU的利用率。如上图所示,GPU利用率不能完全打满,断断续续的忽高忽低,大概率是因为数据取出速度慢 (其他原因,如GPU带宽一般不会成为瓶颈)。除此之外,在blocking_queue.cpp中也会打印出...
原创
2019-04-17 10:31:54 ·
1637 阅读 ·
1 评论