MobileNet系列之MobileNet_v2

MobileNet系列之MobileNet_v1

Inception系列之Inception_v1

Inception系列之Batch Normalization

Inception系列之Inception_v2-v3

Inception系列之Inception_v4

导言：

    MobileNet_v2提出了一些MobileNet_v1存在的一些问题，并在此基础上提出了改进方案。其主要贡献为提出了线性瓶颈(Linear Bottlenecks)和倒残差（Inverted Residuals）。

01Linear Bottlenecks

    如上图所示，MobileNet_v2提出ReLU会破坏在低维空间的数据，而高维空间影响比较少。因此，在低维空间使用Linear activation代替ReLU。如下图所示，经过实验表明，在低维空间使用linear layer是相当有用的，因为它能避免非线性破坏太多信息。

    此外，如果输出是流形的非零空间，则使用ReLU相当于是做了线性变换，将无法实现空间映射，因此MobileNet_v2使用ReLU6实现非零空间的非线性激活。

    上方提出使用ReLU会破坏信息，这里提出ReLU6实现非零空间的非线性激活。看起来有些难以理解。这里提出我自己的理解。