李沐笔记（批量归一化）

原创

于 2021-12-06 15:52:40 发布 · 3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#p2p #tv #debian

本文详细探讨了批量归一化在深度学习模型中的作用，如何提高训练速度和准确性。通过实例分析，解释了批量归一化在神经网络层间的计算过程，以及它如何改善梯度消失和爆炸问题。

import torch
from torch import nn
from d2l import torch as d2l


# 从零开始
# 拉伸参数gamma、偏移参数beta
# moving_mean,moving_var：全局均值和方差 eps：避免除零 momentum：用来更新全局均值和方差（0.9or0.1
def batch_norm(X,gamma,beta,moving_mean,moving_var,eps,momentum):
    # 通过`is_grad_enabled` 来判断当前模式是训练模式还是预测模式
    if not torch.is_grad_enabled():
        # （不算梯度）如果是在预测模式下，直接