神经网络的优化器

神经网络的优化器是用于训练神经网络的一类算法，它们的核心目的是通过改变神经网络的权值参数来最小化或最大化一个损失函数。优化器对损失函数的搜索过程对于神经网络性能至关重要。

作用：

1. 参数更新：优化器通过计算损失函数相对于权重参数的梯度来确定更新参数的方向和步长。

2. 收敛加速：高效的优化算法可以加快训练过程中损失函数的收敛速度。

3. 避免陷入局部最优：一些优化器特别设计了策略（如动量），以帮助模型跳出局部最小值，寻找到更全局的最优解。

4. 适应性调整：许多优化器可以自适应地调整学习率，使得训练过程中对不同的数据或参数具有不同的调整策略。

常用优化器有以下几种：

1. 梯度下降（SGD）：最基本的优化策略，它使用固定的学习率更新所有的权重。存在批量梯度下降（使用整个数据集计算梯度）、随机梯度下降（每个样本更新一次权重）和小批量梯度下降（mini-batch，每个小批量数据更新一次权重）。

   import torch
   import torch.nn as nn
   import torch.optim as optim
   
   # 假设我们有一个