pytorch三——slover

最新推荐文章于 2024-03-10 22:12:21 发布

原创最新推荐文章于 2024-03-10 22:12:21 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch

pytorch 专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了PyTorch中优化器(optimizer)的配置方法，包括如何通过model.named_parameters()获取模型参数，如何根据参数名调整学习率和权重衰减，以及如何根据配置创建SGD优化器。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

总览

在这里插入图片描述

slover

在这里插入图片描述
slover这个文件负责 定义optimizer，对optimizer超参进行设计。

一、build.py

import torch


def make_optimizer(cfg, model):
    params = []
    for key, value in model.named_parameters():  # model.named_parameters() 返回一个generator
        if not value.requires_grad:
            continue
        lr = cfg.SOLVER.BASE_LR
        weight_decay = cfg.SOLVER.WEIGHT_DECAY
        if "bias" in key:
            lr = cfg.SOLVER.BASE_LR * cfg.SOLVER.BIAS_LR_FACTOR
            weight_decay = cfg.SOLVER.WEIGHT_DECAY_BIAS
        params += [{"params": [value], "lr": lr, "weight_decay": weight_decay}]
    if cfg.SOLVER.OPTIMIZER_NAME == 'SGD':
        optimizer = torch.optim.SGD(params, lr, momentum=cfg.SOLVER.MOMENTUM)
    return optimizer

这里就不多记录，要记得 model的属性，和优化器性质，记录下啊？？？？

###二、__init__.py