卷积神经网络中的Conv层和BN层融合细节

BN层

批归一化层（Batch Normallization）是一种在卷积神经网络模型中大量使用，为了加速模型收敛的技术。为什么CNN 中引入 BN 层可以加速网络的收敛呢？因为将输入的样本数据或特征图，归一化后，改善了输入数据的分布，或者说减少了内部相关变量分布的偏移，模型在统一的分布中更能获取数据的特征。所以这里的归一化，其实是标准化（Standardization）,即
$$x_{new}=\frac{x-\mu }{\sigma }$$
一张图可以解释，改善输入数据的分布，可以更容易找到模型参数w和b，从而加速模型收敛

此外，BN 还充当正则器的作用，减少了 dropout 的需要。原文摘要如下

Batch Normalization allows us to use much higher learning rates and be less careful about initialization. It also acts as a regularizer, in some cases eliminating the need for Dropout.

算子融合

在训练时，卷积层和 BN 是两个模块，但是为什么训练时不能融合，而训练完成后，仅执行前向推理却可以融合？因为训练时是按批次输入数据的，BN 就是为了解决小批次输入数据的分布偏移而提出的，因此训练时需要BN层。而训练后的推理，是单样本输入，训练时 BN 的参数已经确定，这些参数相当于对前一层的特征图数据做一次线性变换，而卷积层也可以转化为对特征图的线性变换。因此这两个相邻的算子可以融合。

模型训练时通过移动平均的方法近似获得整个样本集的均值和方差
$$\mu ={\mu }_n=\alpha {\mu }_{n-1}+(1-\alpha )\cdot \frac{1}{N}\sum _i^n{x}_{i,n}$$
对于特征图 F_c,i,j 中第 c 个通道的 ( i , j ) 的值，写程向量和矩阵形式为
$$\left(\begin{array}{l}{\tilde{F}}_{1,i,j}\\ {\tilde{F}}_{2,i,j}\\ ⋮\\ {\tilde{F}}_{C,i,j}\end{array}\right)=\left(\begin{array}{cccc}\frac{1}{\sqrt{{\sigma }_1^2+\epsilon }}& 0& 0& 0\\ 0& \frac{1}{\sqrt{{\sigma }_2^2+\epsilon }}& 0& 0\\ 0& \ddots & 0& 0\\ 0& 0& 0& \frac{1}{\sqrt{{\sigma }_n^2+\epsilon }}\end{array}\right)\left(\begin{array}{l}{F}_{1,i,j}\\ F_{2,i,j}\\ ⋮\\ F_{C,i,j}\end{array}\right)+\left(\begin{array}{c}-\frac{{\mu }_1}{\sqrt{{\sigma }_1^2+\epsilon }}\\ -\frac{{\mu }_2}{\sqrt{{\sigma }_2^2+\epsilon }}\\ ⋮\\ -\frac{{\mu }_n}{\sqrt{{\sigma }_n^2+\epsilon }}\end{array}\right)$$
即 F = W * x + b，因此可将两者合并
$${\tilde{F}}_{i,j}=W_{bn}(W_{conv}{F}_{i,j}+b_{conv})+b_{bn}$$
从而新的卷积层的 W 为 W_bn* W_conv ，新的 b 为 W_bn * W_conv + W_bn

具体实现可参考PyTorch的相关源码。

参考文档

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

ML 入门：归一化、标准化和正则化

BN与Conv层的合并

模型推理加速技巧：融合BN和Conv层