小知识点系列(十八) 本文(3万字) | 解读Pytorch优化器机制 | Optimizer | 各类优化器 | 各类学习率调整策略 |

本文链接：https://blog.youkuaiyun.com/weixin_44302770/article/details/135308661

本文详细介绍了PyTorch中的优化器机制，包括SGD、RMSProp、Adam等，以及如何动态调整学习率，如LambdaLR、StepLR、MultiStepLR、ExponentialLR、CosineAnnealingLR和ReduceLROnPlateau。学习率对模型训练至关重要，动态调整学习率能有效提高训练效果和模型性能。此外，文章还探讨了如何在训练过程中只更新模型的部分参数和为不同层设置不同学习率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

简介与解读基本概念
- 一、优化器
- - 1. Optimizer机制
  - 2. Optimizer基本属性
  - 3. Optimizer基本方法
  - 4. param_groups
  - 1）只训练模型的一部分参数
  - 2）不同部分的参数设置不同的学习率
- 二、动态更新学习率
- - 1. 手动修改学习率
  - 2. torch.optim.lr_scheduler
- 三、小结
SGD，RMSProp，Adam，AdamW解读
各种动态学习率调整策略
- 0 为什么引入学习率衰减？
- 1 查看学习率
- 2 最常用的针对全局的学习率设置
- 3 针对不同层设置不一样的学习率
- 4 手动设置自动衰减的学习率
- 5 手动根据自定义列表进行学习率指定
- 6 使用pytorch提供的学习率
- - 6.1 lr_scheduler.LambdaLR
  - 6.2 torch.optim.lr_scheduler.StepLR
  - 6.3 lr_scheduler.MultiStepLR
  - 6.4 lr_scheduler.ExponentialLR
  - 6.5 lr_scheduler.CosineAnnealingLR
  - 6.6 lr_scheduler.ReduceLROnPlateau
推荐阅读：
- 1. 机器学习
- 2. 深度学习与目标检测
- 3. YOLOv5
- 4. YOLOv5改进
- 5. YOLOv8及其改进
- 6. Python与PyTorch
- 7. 工具
- 8. 小知识点
- 9. 杂记