Group Norm 学习笔记

tomeasure

于 2021-08-19 16:45:52 发布

阅读量713

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习深度学习文章标签： GN Norm 归一化小批量

本文链接：https://blog.youkuaiyun.com/qq_29695701/article/details/119804570

深度学习同时被 2 个专栏收录

45 篇文章

订阅专栏

机器学习

6 篇文章

订阅专栏

本文深入探讨了GroupNormalization（GroupNorm）技术，该方法在小批量训练时展现出显著优势，与BatchNorm、LayerNorm和InstanceNorm相比。GroupNorm通过将通道分组并在每个组内进行归一化，解决了BatchNorm在小批量数据上的问题。提供的代码展示了GroupNorm的实现过程，实验证明其在各种场景下都能有效稳定模型训练。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文：《Group Normalization》
地址：https://arxiv.org/pdf/1803.08494.pdf
优势：小批量训练时优势明显（相比另三个 Norm）
其他：Batch Norm、Layer Norm、Instance Norm

在这里插入图片描述

方法

将通道分组，在每组做 Norm

代码

源自论文

def GroupNorm(x, gamma, beta, G, eps=1e−5):
	# x: input features with shape [N,C,H,W]
	# gamma, beta: scale and offset, with shape [1,C,1,1] 
	# G: number of groups for GN
	N, C, H, W = x.shape
	x = tf.reshape(x, [N, G, C // G, H, W])
	
	mean, var = tf.nn.moments(x, [2, 3, 4], keep dims=True) 
	x = (x − mean) / tf.sqrt(var + eps)
	
	x = tf.reshape(x, [N, C, H, W]) 
	
	return x ∗ gamma + beta

实验

在这里插入图片描述