PyTorch优化器相关使用方式和trick集锦（持续更新ing...）

本文链接：https://blog.youkuaiyun.com/PolarisRisingWar/article/details/128224695

本文详细介绍PyTorch中优化器的应用技巧，包括如何选择不同的优化算法如SGD和Adam，以及如何针对不同模型参数设置不同的学习率策略。此外还介绍了在多模态场景下，如何同时优化两个模型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

诸神缄默不语-个人优快云博文目录

本文介绍PyTorch优化器相关的使用方法和trick。
PyTorch优化器官方文档：torch.optim — PyTorch 1.13 documentation

最近更新时间：2023.1.9
最早更新时间：2022.12.7

文章目录

1. 优化器种类
2. 对不同的模型参数使用不同的优化策略
- 2.1 同一个模型实例，不同的模型参数
- 2.2 同时优化不同模型实例的参数

1. 优化器种类

SGD
Adam

2. 对不同的模型参数使用不同的优化策略

2.1 同一个模型实例，不同的模型参数

都使用Adam优化器，在同一个模型实例里，根据关键词筛选出不同的模型参数：

decoder_params=[]
for pname, p in model.named_parameters():
    if 'key' in pname:
        key_params += [p]
params_id = list(map(id, key_params))
optimizer=torch.optim.Adam([{"params":key_params,"lr":0.001},
                        {"params":list(filter(lambda p:id(p) not in params_id,model.parameters()))}],lr=0.0001)

另一种写法（参考https://github.com/DQ0408/R-former/blob/main/pretraining.py：

params = [(k, v) for k, v in model.named_parameters() if v.requires_grad]
non_bert_params = {'params': [v for k, v in params if not k.startswith('bert.')]}
bert_params = {'params': [v for k, v in params if k.startswith('bert.')], 'lr': 1e-5}
optimizer = torch.optim.Adam([non_bert_params, bert_params], lr=1e-5)

2.2 同时优化不同模型实例的参数

都使用Adam优化器，但是同时优化两个模型（如多模态场景中，分别对文本和图像进行嵌入，互相使用对方得到的中间数据）。在完成嵌入后，计算得到损失函数，可以通过一个优化器实现梯度更新

optimizer=torch.optim.Adam([{"params":text_encoder.parameters(),"lr":1e-5},{"params":picture_encoder.parameters()}],lr=1e-4)