【标准化方法】(3) Group Normalization 原理解析、代码复现，附Pytorch代码

今天和各位分享一下深度学习中常用的标准化方法，Group Normalization 数据分组归一化，向大家介绍一下数学原理，并用 Pytorch 复现。

Group Normalization 论文地址：https://arxiv.org/pdf/1803.08494.pdf

---

1. 原理介绍

在目标检测，视频分类等大型计算机视觉应用中，受到计算机内存的限制，必须设置较小的样本数量，但是样本量小势必会导致批归一化的性能有所影响。

分组归一化（Group Normalization，GN）是针对批归一化算法对批次大小依赖性强这一弱点而提出的改进算法。因为 BN 层统计信息的计算与批次的大小有关，因此当批次变小时，很明显统计均值和方差的计算会越不准确和稳定，最终会有小批次高错误率的这一现象发生。

分组归一化 GN 介于层归一化 LN 和实例归一化 IN 之间，对于输入大小为 [N,C,H,W] 的图像，N 代表批次的大小，C 表示输入通道数，H,W 表示输入图片高度和宽度。

分组归一化首先将输入通道 C 分为 G 个小组