pytorch自学笔记——归一化层

最新推荐文章于 2025-07-10 09:37:19 发布

原创

最新推荐文章于 2025-07-10 09:37:19 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

本文详细介绍了批量归一化（Batch Normalization）在深度学习模型中的作用，包括解决内部协变量转移问题和避免梯度消失与梯度爆炸。通过在卷积层和全连接层后应用批量归一化，提升网络训练的稳定性和速度。同时，展示了如何在实际代码中使用批量归一化层。

import torch
from torch import nn
from d2l import torch as d2l


net = nn.Sequential(nn.Conv2d(1, 6, kernel_size=5), nn.BatchNorm2d(6),
                    nn.Sigmoid(), nn.MaxPool2d(kernel_size=2, stride=2),
                    nn.Conv2d(6, 16, kernel_size=5), nn.BatchNorm2d(16),
                    nn.Sigmoid(), nn.MaxPool2d(kernel_size=2, stride=2),
                    nn.Flatten(), nn.Linear(256, 120), nn.BatchNorm1d(120),
                    nn.Sigmoid(), nn.Linear(120, 84), nn.BatchNorm1d(84),
                    nn.Sigmoid(), nn.Linear(84, 10))


d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())

1、归一化层解决的问题：

a、internal covarivate shift问题——在训练过程中，数据分布会发生变化，对下一层网络的学习带来困难。

b、避免梯度消失与梯度爆炸

2、作用地点

a、卷积层后

example：

上面的