batch-size较小时还能用batch normalization吗？

当我们用自己的显卡训练时，由于显存较小无法使用较大的batch-size，那么使用batch-normalization的效果怎么样呢？
恺明大神新作Group Normalization提出使用Group Normalization 替代深度学习里程碑式的工作Batch normalization。
论文地址：

1 Batch Normalization (BN)

Batch Normalization 是将同一批batch-size的权重进行归一化，先放一张恺明大神论文中的图，这张图表示的是在不同batch-szie下BN和GN的错误率。

从图中可以看出GN在不同的batch-size下都比较稳定，而batch normalization在batch-size大于16时错误率较低。
Batch Normalization是在batch这个维度上Normalization，但是这个维度并不是固定不变的，比如训练和测试时一般不一样，一般都是训练的时候在训练集上通过滑动平均预先计算好平均-mean，和方差-variance参数，在测试的时候，不在计算这些值，而是直接调用这些预计算好的来用，但是，当训练数据和测试数据分布有差别是时，训练集上预计算好的数据并不能代表测试数据，这就导致在训练，验证，测试这三个阶段存在inconsistency。

2 Group Normalization