MobileNet_v2网络模型详解

1.概述

阐述MobileNet的网络结构。
十里桃园首发，转载请注明
V3已经出来，此文章已意义不大，请参考我的另外一篇对v3的详细解读：https://blog.youkuaiyun.com/weixin_37918890/article/details/105262735

2. MobileNet Introduction

本文介绍MobileNet_v2网络结构。在MobileNet_v1中，应用了深度可分离卷积，使得神经网络在保持精度的同时，极大的降低了计算速度。

在MobileNet_v2中，提出了两个新的概念，即：倒置残差Inverted Residual 和线性瓶颈Linear Bottleneck。倒置残差主要用来增加图像特征的提取以提高精度，而线性瓶颈主要用来避免非线性函数的信息丢失。

3. 线性瓶颈 Linear Bottlenecks

3.1．感兴趣流形
Manifold of Interest (翻译成目标特征描述域更贴切)

3.1.1
非线性函数ReLu

激活函数是在人工网络神经元上运行的函数，负责将神经元的输入映射到输出。经过几年的发展，传统使用的函数从Sigmoid渐渐的变为ReLU等非线性函数，以避免梯度消失的问题。

同时为了使RuLU函数在移动设备低精度的时候也能有很好的数值分辨率，对ReLU函数的激活范围加以限制，经实验表明ReLU的输出限制为6效果最好，这样限制后的函数重新命名为ReLU6。

但是ReLU系列激活函数在第二象限具有丢失信息的缺点，例如RELU6函数图像如下图.1，可以看出在横坐标小于0时，其输出的纵坐标值恒为0。