MobileNetv2

MobileNetV2

从MobileNetv1的结构来看，没有使用现在比较火residual连接，而是采取了最常见的直筒型网路，那么本文就是从激活函数ReLU层面分析了shorcut的必要性。

我们知道，当图像在网络中流动的时候，一般来说，我们的激活函数是ReLU，从ReLU的性质来看，如果输出是小于0的，那么就会丧失这个部分的信息，因为ReLU在负半轴为0，所以如果我们有一种结构，能够把某些会被ReLU干掉的通道给保存起来，然后输入给下一层，那么我们就可以继续利用这一层的信息，同时这不会增加网络复杂度和参数量，在ReLu计算的那层神经元，该抑制还是得抑制。那么很显然，这一种结构就是ResNet里面的shortcut结构。

ReLU的函数图如下：

文中反复提到：lower-dimentional subspace of the higher-dimentional activation space（翻译过来就是，高维激活空间中的低维子空间）. 我们可以这样来理解（如果理解不对，可以指正批评）：经过ReLU后，某些信息由于是负半轴，所以会被截断，那么此时一部分信息就会被丢失，那么这会对我们后面的特征提取产生影响。但是如果我们的通道数足够多（即下文说的高维度），就算被截断了，由于通道直接或者空间之间会有关联性存在，那么就算丢失了，我们可以将ReLU映射到一定高的维度就可以把丢失的部分信息给“还原”出来，用这样的方式来减少经过ReLU层后信息的丢失。用文中的图来印证：

那么我们如何提取这个低维子空间里的信息呢？ 文中给的方法是用一个线性的瓶颈层（因为非线性会损坏很多信息）。