使用余弦退火（CosineAnnealing）调整学习率的代码实现

最新推荐文章于 2025-07-15 19:08:51 发布

原创

最新推荐文章于 2025-07-15 19:08:51 发布 · 6.3k 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#学习 #人工智能 #神经网络 #python

本文介绍了余弦退火学习率在深度学习中的应用，展示了如何通过`torch.optim.lr_scheduler.CosineAnnealingLR`进行学习率调度，并提供了一个实际的代码示例。作者强调了根据模型和训练需求调整参数的重要性。

一、引言

余弦退火学习率是一种优化学习率的方法，通常用于深度学习训练中，以帮助模型更好地收敛。这种学习率调整方法通过在训练周期内逐渐降低学习率，从而在训练早期使用较大的学习率以更快地接近全局最小值，然后在后期使用较小的学习率进行微调，以提高模型的稳定性和泛化能力。

具体化就如下图所示：

学习率如余弦函数一样随着训练周期而改变。

二、参数介绍

torch.optim.lr_scheduler.CosineAnnealingLR（optimizer,T_max,eta_min=0,last_epoch=-1）

optimizer:
- 类型: torch.optim.Optimizer 对象
- 含义: 指定要进行学习率调度的优化器。调度器将会修改这个优化器中的学习率。
T_max:
- 类型: 整数
- 含义: 一个周期（epoch）的长度，指定了学习率从最大值下降到最小值的周期长度。在余弦退火学习率调度器中，学习率在 T_max 这个周期内按照余弦函数的形状下降。通常，T_max 被设置为一个整数，代表了网络训练的总周期数。
eta_min (可选参数，可选，默认值: 0):
- 类型: 浮点数
- 含义: 学习率的下限。在训练过程中，学习率将不会小于这个值。默认为0。
last_epoch (可选参数，可选，默认值: -1):
- 类型: 整数
- 含义: 上一个学习率更新的训练周期（epoch）数。指定这个参数允许你在已经进行了一部分训练后恢复学习率调度，或者在某个特定的训练周期开始学习率调度。

三、代码展示

from torch.utils.data import Dataset, DataLoader
import torch
import numpy as np
from torchvision import transforms
from PIL import Image
import time

data_transforms = {
    'train':
        transforms.Compose([
            transforms.Resize([300, 300]),
            transforms.RandomRotation(45),
            transforms.CenterCrop(256),
            transforms.RandomHorizontalFlip(p=0.5),
            transforms.RandomVerticalFlip(p=0.5),
            transforms.ColorJitter(bri

最低0.47元/天解锁文章