ResNet、Inception、Xception笔记

ResNet:残差网络模块

众所周知，深度神经网络的层数越增加，越容易造成梯度消散问题，而且容易产生过拟合。因此ResNet的作者提出这样的一种假设：如果我们不直接学习x到H(x)的映射关系，而是学习两者的差异，也就是残差(residual)，上图用F(x)表示，然后需要计算H(x)时，将残差加到输入上即可，即学习F(x)+x。

ResNet的每一个模块(block)，都由一系列层和一个捷径(shortcut)连接组成，然后在元素层面执行【加法】运算，如果input与output大小不同，需要执行零填充 (Zero padding)或1x1卷积得到匹配大小。

ResNet有效的减少了梯度消散问题，使更深的神经网络成为可能。

Inception模块：

Inception的理念是：首先通过1X1卷积学习Cross-channel correlations，同时将输入的维度降下来，再通过常规的3X3和5X5卷积来学习Spatial correlations,两个模块分开学习。（Spatial correlations 学习某个特征在空间的分布；Cross-channel correlationn 学习这些特征的组合方式）

两种思想的交汇：

• 让模型自主选择哪一种尺度的卷积核（但会大大增加计算成本）
• 使用1X1卷积进行降维（多通道上，1X1卷积可以提取空间信息，并将其压缩到更低纬度，这样减少了映射数量，可以将不同的层变换并行地堆叠在一起，从而使神经网络又深又宽）

Xception模块：

Xception加强了Inception的假设：Cross-channel correlation与Spatial correlation完全无关（跨通道的相关性与空间相关性是完全可分离的，最好不要联合映射它们）

depthwise separable convolution深度可分离卷积：一个单独为每个通道执行的空间卷积（深度方面），后面跟着一个逐点卷积（一个跨通道的1X1卷积），即将全3D映射转换为2D+1D映射。

Xception在大规模数据集上表现更优。

Tips：对浅层feature进行激活会导致一定的信息损失，而对很深的feature进行激活有益于特征学习。