10、PyTorch 神经网络实现与梯度下降优化

PyTorch 神经网络实现与梯度下降优化

1. PyTorch 基础与 MNIST 分类器构建

1.1 梯度下降与优化器

在梯度下降过程中，我们需要根据梯度调整模型参数。虽然可以手动完成这一操作，但 PyTorch 将此功能抽象到了 torch.optim 模块中。以下是定义优化器的示例代码：

from torch import optim
lr = 1e-3
optimizer = optim.SGD(classifier.parameters(), lr=lr) 

要执行参数更新，可以使用以下代码：

optimizer.step() # Updates parameters via SGD
optimizer.zero_grad() # Zeroes out gradients between minibatches

1.2 PyTorch 数据集与数据加载器

PyTorch 的 Dataset 是一个基类，可用于访问特定数据。实际使用时，需要子类化 Dataset 类并覆盖 __len__() 和 __getitem__() 方法。以下是一个自定义数据集的示例代码：

import os
from PI