qq_38489833的博客

目前常用的一些减少网络计算量的方法：基于轻量化网络设计：比如mobilenet系列，shufflenet系列，Xception等，使用Group卷积、1x1卷积等技术减少网络计算量的同时，尽可能的保证网络的精度。模型剪枝： 大网络往往存在一定的冗余，通过剪去冗余部分，减少网络计算量。量化：利用TensorRT量化，一般在GPU上可以提速几倍。知识蒸馏：利用大模型（teacher model）来帮助小模型（student model）学习，提高student model的精度。(学习记录，自用)

卷积神经网络在图像处理中的地位已然毋庸置疑。卷积运算具备强大的特征提取能力、相比全连接又消耗更少的参数，应用在图像这样的二维结构数据中有着先天优势。然而受限于目前移动端设备硬件条件，显著降低神经网络的运算量依旧是网络结构优化的目标之一。本文所述的Separable Convolution就是降低卷积运算参数量的一种典型方法。常规卷积运算假设输入层为一个大小为64×64像素、三通道彩色图片。经过一个包含4个Filter的卷积层，最终输出4个Feature Map，且尺寸与输入层相同。整个过程可以用下图来概