基于python numpy 手写实现 Batch Normalization

xiangyong58

已于 2022-10-14 10:05:52 修改

阅读量1.1k

点赞数 2

CC 4.0 BY-SA版权

于 2021-10-04 20:29:27 首次发布

本文链接：https://blog.youkuaiyun.com/xiangyong58/article/details/120607620

Machine & Deep Learning 同时被 2 个专栏收录

78 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

Python

19 篇文章

订阅专栏

本文介绍了如何基于Python的numpy库自定义批量归一化层。内容包括层的实现，其中涉及了拉伸参数、偏移参数的维护，以及移动平均的均值和方差计算，适用于全连接层和卷积层。参考了深度学习资源和相关博客进行讲解。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

二、基于python numpy，下面我们自己实现批量归一化层。

import time
import torch
from torch import nn, optim
import torch.nn.functional as F

import sys
sys.path.append("..") 
import d2lzh_pytorch as d2l
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

def batch_norm(is_training, X, gamma, beta, moving_mean, moving_var, eps, momentum):
    # 判断当前模式是训练模式还是预测模式
    if not is_training:
        # 如果是在预测模式下，直接使用传入的移动平均所得的均值和方差
        X_hat = (X - moving_mean) / torch.sqrt(moving_var + eps)
    else:
        assert len(X.shape) in (2, 4)
        if len(X.shape)