Paper Reading:GhostNet: More Features from Cheap Operations

GhostNet: More Features from Cheap Operations

Motivation

卷积神经网络中，特征冗余是其有效果的一大重要因素，为了解决CNN计算时会使用大量的计算量去计算冗余的特征的问题，这里提出了GhostNet。下图为ResNet-50里面特征图的可视化，可以看到有很多相似的特征图。

Architecture

Ghost Module for More Features

对于一般卷积来说，
$$Y=X\ast f+b,f\in c\ast k\ast k\ast n$$
对于ghost module来说，
$$\hat{Y}=X\ast \hat{f}+b,f\in c\ast k\ast k\ast m,m<=n$$
其中对于生成的特征，如下图所示，会比正常卷积生成的特征层数少，然后利用一些cheap的linear operation（如3*3的depth wise 卷积）去得到ghost feature。

减少的计算量比例，

Ghost bottleneck：

可以对特征图做pooling，继续减少计算量。

Experiments

在分类上的结果：