显存内存使用量估计卷积神经网络 convolution torch finput

最新推荐文章于 2024-07-11 15:15:05 发布

原创

最新推荐文章于 2024-07-11 15:15:05 发布 · 3.1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #内存 #GPU #CUDA #Torch

本文探讨了如何估算深度卷积神经网络在GPU上的显存消耗，重点关注torch7中finput和fgradInput的复用技术。尽管CPU和GPU的内存占用有别，尤其是finput和fgradInput，但GPU通过内存复用能有效降低内存需求。通过特定代码实现，可以在不适用于训练模式的情况下复用临时缓存空间，从而减少显存占用。

如何估算深度卷积神经网络的显存/内存消耗量

torch7中是可以打印显示深度神经网络中各个神经网络层的内存占用情况，既每个Tensor的配置情况，比如batch大小为16的时候：

nn.SpatialConvolution(3,4,4,4,2,2,1,1)
-- cpu
{
  padW : 1
  nInputPlane : 3
  output : FloatTensor - size: 16x4x16x16
  gradInput : FloatTensor - size: 16x3x32x32
  _type : "torch.FloatTensor"
  dH : 2
  dW : 2
  nOutputPlane :