「Deep Learning」Note on Group Normalization（组归一化）

QQ Group: 428014259
Tencent E-mail：403568338@qq.com
http://blog.youkuaiyun.com/dgyuanshaofeng/article/details/79672365

1 GN动机

1. BN，沿着批（batch）轴进行归一化，产生了问题：当批的大小越小时，BN的误差越大，造成不准确的批统计信息估计。图1比较了BN和GN在不同批大小下的误差率。
2. 经典特征SIFT（Scale Invariant Feature Transform），HOG（Histogram of Oriented Gradient），GIST（？），VLAD（Vector of Locally Aggregated Descriptors）和FV（Fisher Vector），是逐组特征，因此应该使用逐组归一化。受传统图像分析的启发。

图 1

2 GN操作

如图2所示，GN在通道（channel）轴进行分组，然后在组内进行归一化。

图 2

3 GN执行

TensorFlow的实现（原文）

def GroupNorm(x, gamma, beta, G, eps=1e-5):
    #x: input features with shape [ N, C, H, W]
    #gamma, beta: scale and offset, with shape [1, C, 1, 1]
    #G: number of groups for GN
    N, C, H, W = x.shape
    x = tf.reshape(x,