李沐笔记（批量归一化）

最新推荐文章于 2024-09-09 19:46:41 发布

qq_42310607

最新推荐文章于 2024-09-09 19:46:41 发布

阅读量2.9k

点赞数

文章标签： p2p tv debian

本文链接：https://blog.youkuaiyun.com/qq_42310607/article/details/121745447

版权

本文详细探讨了批量归一化在深度学习模型中的作用，如何提高训练速度和准确性。通过实例分析，解释了批量归一化在神经网络层间的计算过程，以及它如何改善梯度消失和爆炸问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import torch
from torch import nn
from d2l import torch as d2l


# 从零开始
# 拉伸参数gamma、偏移参数beta
# moving_mean,moving_var：全局均值和方差 eps：避免除零 momentum：用来更新全局均值和方差（0.9or0.1
def batch_norm(X,gamma,beta,moving_mean,moving_var,eps,momentum):
    # 通过`is_grad_enabled` 来判断当前模式是训练模式还是预测模式
    if not torch.is_grad_enabled(