Convolutional Normalization: Improving Deep Convolutional Network Robustness and Training

【12.02】Convolutional Normalization: Improving Deep
Convolutional Network Robustness and Training
知识背景：BatchNorm
深度神经网络主要就是为了学习训练数据的分布，并在测试集上达到很好的泛化效果，但是，如果我们每一个batch输入的数据都具有不同的分布，显然会给网络的训练带来困难。另一方面，数据经过一层层网络计算后，其数据分布也在发生着变化，此现象称为Internal Covariate Shift，会给下一层的网络学习带来困难。直译过来就是批规范化，就是为了解决这个分布变化问题。

之所以称之为batchnorm是因为所norm的数据是一个batch的，假设输入数据是β=x1…m共m个数据，输出是yi=BN(x)， batchnorm的步骤如下:
1.先求出此次批量数据X的均值
2.求出此次batch的方差
3.接下来就是对x做归—化
4.最重要的一步，引入缩放和平移变量 ,计算归—化后的值
第四步中这额外的两个参数，之前也说过如果直接做归一化不做其他处理，神经网络是学不到任何东西的，但是加入这两个参数后，事情就不一样了，先考虑特殊情况下，如果γ和β分别等于此batch的标准差和均值，那么y不就还原到归一化前的x了吗，也即是缩放平移到了归一化前的分布，相当于batchnorm没有起作用，β和γ分别称之为平移参数和缩放参数 。这样就保证了每一次数据经过归一化后还保留的有学习来的特征，同时又能完成归一化这个操作，加速训练。
一句话首先计算均值和方差，然后归一化，然后缩放和平移，完事！

**创新点：**介绍了一种简单有效的“卷积归一化”（ConvNorm）方法，该方法可以充分利用傅里叶域中的卷积结构。
之前工作不足：早期的规范化技术，批处理规范化（BatchNorm），层规范化(layer normalization )，实例规范化(instance normalization)，组规范化(group normalization)，这些标准化技术都是基于从训练数据中估计神经元输入的某些统计数据。当批次大小很小或批次样本具有统计依赖性时，BatchNorm无效。权重归一化[14]是BatchNorm的一个强大替代方案，它改进了神经网络训练的条件，无需从神经元输入估计统计数据。但是所有权重都具有单位欧氏范数。
最流行的权重规范化形式之一是强制正交性。其思想是，每层中的权重应该是正交的，并且保持能量。正交性被认为在训练超深模型优化递归模型、提高泛化、获得稳健性、学习分离特征、提高GANs质量、学习低维嵌入方面起着核心作用。有两个缺点：
一方面忽略了卷积算子的平移不变特性，也并不能保证能量不变。另一方面，这些方法通常涉及处理矩阵求逆，这对于深度和高度超参数化的网络来说计算成本很高。
引入的ConvNorm优点:
它明确地利用了卷积算子的平移不变性
1.易于实现：与通常需要超参数调整和大量计算的权重正则化方法相比，ConvNorm没有参数可调整，计算效率高
2.提高网络鲁棒性：尽管ConvNorm分别作用于每个输出通道，但我们发现它实际上改善了convnet的整体分层lipschitz性。因此，正如我们的实验所证明的，它对噪声破坏和对抗性攻击具有优异的鲁棒性性能
3.提升网络训练：ConvNorm改善了优化环境，优化算法更快地收敛到所需的解。

总结
它提出了使用ConvNorm替代batchnorm这一创新点
但是使用这个ConvNorm来做归一化，文章中只说了带来三个优点：1.提高网络训练速度
2.提高网络的鲁棒性
3.提高网络的对抗性
它不能够提升网络模型精度