Group Normalization

最新推荐文章于 2024-11-28 12:56:05 发布

AI算法网奇

最新推荐文章于 2024-11-28 12:56:05 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习宝典

本文链接：https://blog.youkuaiyun.com/jacke121/article/details/103638131

深度学习宝典专栏收录该内容

1044 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨了Group Normalization技术，一种用于深度学习模型的规范化方法，旨在解决Batch Normalization在小批量数据上的性能下降问题。通过将特征通道分组并独立标准化，Group Normalization能够在任何批次大小下保持稳定的表现，提高模型训练的效率和准确性。

https://github.com/kuangliu/pytorch-groupnorm/blob/master/groupnorm.py

Group Normalization

import torch
import torch.nn as nn


class GroupNorm(nn.Module):
    def __init__(self, num_features, num_groups=32, eps=1e-5):
        super(GroupNorm, self).__init__()
        self.weight = nn.Parameter(torch.ones(1,num_features,1,1))
        self.bias = nn.Parameter(torch.zeros(1,num_features,1,1))
        self.num_groups = num_groups
        self.eps = eps

    def forward(self, x):
        N,C,H,W = x.size()
        G = self.num_groups
        assert C % G == 0

        x = x.view(N,G,-1)
        mean = x.mean(-1, keepdi

了解本专栏