批量归一化 && 残差网络

基于此前对于CNN的介绍

• Fundamentals of Convolutional Neural Networks
• LeNet && ModernCNN

就深层次 CNN 的结构进一步探讨归一化和残差网络。

批量归一化（BatchNormalization）

让网络训练归一化变得更加容易，本质是一种对数据的标准化处理

分类

• 对输入的标准化（浅层模型）

处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近

• 批量归一化（深度模型）随着模型参数的迭代更新，靠近输出层的数据剧烈变化

利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。

应用

• 对全连接层做批量归一化

位置：全连接层中的仿射变换和激活函数之间。

全连接：
$$\begin{gathered} \mathbf{x}=\mathbf{W}\mathbf{u}+\mathbf{b} \\ output=\varphi (\mathbf{x}) \end{gathered}$$

输入是u，经过仿射变化得到x，经过激活函数得到output，size=(batch_size，输出神经元的个数)

批量归一化：
$$output=\varphi (\text{BN}(\mathbf{x}))$$

$${\mathbf{y}}^{(i)}=\text{BN}({\mathbf{x}}^{(i)})$$

$${\mathbf{\mu }}_{\mathcal{B}}\leftarrow \frac{1}{m}\sum _{i=1}^m{\mathbf{x}}^{(i)},$$

$${\mathbf{\sigma }}_{\mathcal{B}}^2\leftarrow \frac{1}{m}\sum _{i=1}^m({\mathbf{x}}^{(i)}-{\mathbf{\mu }}_{\mathcal{B}}{)}^2,$$

$${\hat{\mathbf{x}}}^{(i)}\leftarrow \frac{{\mathbf{x}}^{(i)}-}{\sqrt{{\mathbf{\sigma }}_{\mathcal{B}}^2+ϵ}}$$