PyTorch学习笔记（12）--神经网络优化器

最新推荐文章于 2025-04-28 10:00:00 发布

我这一次

最新推荐文章于 2025-04-28 10:00:00 发布

阅读量1.3k

点赞数 2

分类专栏： PyTorch学习笔记文章标签： python pytorch 神经网络

本文链接：https://blog.youkuaiyun.com/weixin_43981621/article/details/119783944

版权

本文介绍了神经网络优化器的作用，以PyTorch中的SGD优化器为例，展示了如何在CIFAR10数据集上构建神经网络并进行训练。通过多轮训练，观察损失函数值的下降趋势，从而理解优化器在模型训练过程中的应用。下篇将探讨现成网络模型的使用和修改。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

PyTorch学习笔记（12）–神经网络优化器

本博文是PyTorch的学习笔记，第12次内容记录，主要是在上一篇文章中提到的损失函数的基础上，研究神经网络优化器的使用方法。

1.优化器是什么

神经网络的学习的目的就是寻找合适的参数，使得损失函数的值尽可能小。解决这个问题的过程为称为最优化。解决这个问题使用的算法叫做优化器。在PyTorch官网中，将优化器放置在torch.optim中，并详细介绍了各种优化器的使用方法。

2.优化器的使用

2.1SGD优化器的使用

现以CIFAR10数据集为例，损失函数选取交叉熵函数，优化器选择SGD优化器，搭建神经网络，并计算其损失值，用优化器优化各个参数，使其朝梯度下降的方向调整，完整代码如下：

# coding ：UTF-8
# 文件功能： 代码实现神经网络优化器的使用
# 开发人员： dpp
# 开发时间： 2021/8/18 4:52 下午
# 文件名称： nn_optim.py
# 开发工具： PyCharm

import torch
import torchvision
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader

dataset = torchvision.datasets.CIFAR10("CIFAR10", train=False,
                                       transform=torchvision.transforms.ToTensor(), download=True)

dataloader = DataLoader(dataset, batch_size=1)

class Test(nn.Module):
    def __init__(self):
        super(Test, self).__init__()
        self.model1 = Sequential(
            Conv2d(in_channels=3, out_channels=32, kernel_size=5, padding=2),
            MaxPool2d(kernel_size&#