卷积神经网络参数量和计算量内存计算

参数量

每一次卷积的参数量和特征图的大小无关，仅和卷积核的大小，偏置及BN有关。

1.每个卷积层的参数量，+1表示偏置：
C_o x (K_w x K_h x C_in + 1)

2.全连接层的参数量
(D₁ + 1) x D₂

3.BN层的参数量
因为BN层需要学习两个参数$\gamma$和$\beta$，所以参数量是2xC_o

计算量

1.一次卷积的计算量（kxk次乘法+kxk-1次加法）
(K_w x K_h) + (K_w x K_h - 1)

2.一个特征图上的卷积次数，即输出特征图的大小
$$(\frac{H-Kh+2\ast padding}{S}+1)\ast (\frac{W-Kw+2\ast padding}{S}+1)$$

3.全连接层的计算量（乘法+加法）
(D₁ + (D₁ - 1) + 1) x D₂

内存

1.参数量所占内存
（32位的float需要占用4个字节）
Memory(MB) = params x 4 /1024 /1024
比如：VGG参数量约为138million，则内存大小为138*3.8 = 524MB

2.每张图所占内存
计算一整张图的过程中的所有特征图层所占内存为F_w x F_h x C的加和，乘以4byte，再/1024/1024。

3.训练所占显存
比如：
参数量为500w，则内存为19MB；
一张图内存为100w，则内存为4MB；
Batchsize = 128；

则：
模型所占显存：19x2 = 38MB（1为params，1为Adam）
输出所占显存：128x4x2 = 1024MB（2为forward和backward）
总共需要显存：38+1024 > 1G