保持分享欲

在此，将进行拓展，学习如何手动更新学习率（即不使用pytorch自带的学习率调度器）。当我们在使用预训练的模型时，需要对分类层进行单独修改并进行初始化，其他层的参数采用预训练的模型参数进行初始化，这个时候我们希望在进行训练过程中，除分类层以外的层只进行微调，不需要过多改变参数，因此需要设置较小的学习率。总而言之，通过引入学习率衰减，在模型训练初期，会使用较大的学习率进行模型优化，随着迭代次数增加，模型逐渐收敛，学习率会逐渐进行减小，保证模型在训练后期不会有太大的波动，从而更加接近最优解。

在将PyTorch模型（.pth文件）转换为ONNX格式时，通常的转换过程是通过torch.onnx.export函数来实现的。这个过程主要是将PyTorch模型的计算图导出为ONNX格式，以便在其他框架或环境中使用。在转换过程中，你通常不能直接在原有的PyTorch模型前后“添加函数”，因为ONNX导出的是静态计算图，它表示的是模型在某一时刻的结构和参数，而不是动态的执行过程。不过，你可以通过‌修改模型定义‌的方式来实现类似的功能。

在PyTorch中，可以通过torch.optim.lr_scheduler模块提供的多个学习率调度器（Learning Rate Scheduler）来实现学习率的动态调整。这些调度器可以帮助优化训练过程，提高模型的性能。