optimizer和scheduler

最新推荐文章于 2025-01-14 22:00:18 发布

原创最新推荐文章于 2025-01-14 22:00:18 发布 · 1.5k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #深度学习

pytorch学习笔记专栏收录该内容

1 篇文章

订阅专栏

本文介绍了PyTorch中优化器(optimizer)与学习率调度器(scheduler)的使用方法。详细解释了不同类型的优化器如SGD、Adam及学习率调度策略如LambdaLR、StepLR等，并探讨了它们在训练过程中的作用时机。

ACE-Step

音乐合成

ACE-Step

ACE-Step是由中国团队阶跃星辰（StepFun）与ACE Studio联手打造的开源音乐生成模型。它拥有3.5B参数量，支持快速高质量生成、强可控性和易于拓展的特点。最厉害的是，它可以生成多种语言的歌曲，包括但不限于中文、英文、日文等19种语言

optimizer = optim.SGD(pg, lr=args.lr, momentum=0.9, weight_decay=5E-5)
lf = lambda x: ((1 + math.cos(x * math.pi / args.epochs)) / 2) * (1 - args.lrf) + args.lrf  # cosine
scheduler = lr_scheduler.LambdaLR(optimizer, lr_lambda=lf)

optimizer指定使用哪个优化器；

scheduler对优化器的学习率进行调整。

只有用了optimizer.step()，模型才会更新；而scheduler.step()是对lr进行调整。optimizer.step()通常用在每个mini-batch里面，而scheduler.step()通常用在epoch里面。

optimizer种类有：

optim.SGD
optim.Adam

scheduler种类有：

pytorch有torch.optim.lr_scheduler模块提供了一些根据epoch训练次数来调整学习率（learning rate）的方法。一般情况下我们会设置随着epoch的增大而逐渐减小学习率从而达到更好的训练效果。学习率的调整应该放在optimizer更新之后。

torch.optim.lr_scheduler.LambdaLR
torch.optim.lr_scheduler.StepLR
torch.optim.lr_scheduler.MultiStepLR
torch.optim.lr_scheduler.ExponentialLR

参考：训练时的学习率调整：optimizer和scheduler - 知乎 (zhihu.com)

您可能感兴趣的与本文相关的镜像

ACE-Step

音乐合成

ACE-Step