pytorch自学笔记——归一化层

最新推荐文章于 2024-11-30 06:00:00 发布

还是那个狗蛋

最新推荐文章于 2024-11-30 06:00:00 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： pytorch自学笔记

本文链接：https://blog.youkuaiyun.com/weixin_50774105/article/details/118528022

pytorch自学笔记专栏收录该内容

15 篇文章

订阅专栏

本文详细介绍了批量归一化（Batch Normalization）在深度学习模型中的作用，包括解决内部协变量转移问题和避免梯度消失与梯度爆炸。通过在卷积层和全连接层后应用批量归一化，提升网络训练的稳定性和速度。同时，展示了如何在实际代码中使用批量归一化层。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import torch
from torch import nn
from d2l import torch as d2l


net = nn.Sequential(nn.Conv2d(1, 6, kernel_size=5), nn.BatchNorm2d(6),
                    nn.Sigmoid(), nn.MaxPool2d(kernel_size=2, stride=2),
                    nn.Conv2d(6, 16, kernel_size=5), nn.BatchNorm2d(16),
                    nn.Sigmoid(), nn.MaxPool2d(kernel_size=2, stride=2),
                    nn.Flatten(), nn.Linear(256, 120), nn.BatchNorm1d(120),
                    nn.Sigmoid(), nn.Linear(120, 84), nn.BatchNorm1d(84),
                    nn.Sigmoid(), nn.Linear(84, 10))


d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())

1、归一化层解决的问题：

a、internal covarivate shift问题——在训练过程中，数据分布会发生变化，对下一层网络的学习带来困难。

b、避免梯度消失与梯度爆炸

2、作用地点

a、卷积层后

example：

上面的

nn.BatchNorm2d(6)

其中6代表的是通道数

b、全连接层后

如上面的：

nn.Linear(256, 120), nn.BatchNorm1d(120),
                    nn.Sigmoid(), nn.Linear(120, 84), nn.BatchNorm1d(84),
                    nn.Sigmoid(), nn.Linear(84, 10))

nn.BatchNorm1d(120)中120代表的是特征的数量