【pytorch】封装 optimizer实现 “梯度截断” 与 “学习率下调”

最新推荐文章于 2025-09-02 21:37:06 发布

原创

最新推荐文章于 2025-09-02 21:37:06 发布 · 3k 阅读

2 ·

CC 4.0 BY-SA版权

我们不生产知识，我们只是互联网的搬运工

本文介绍了一种深度学习优化策略，包括使用不同的优化方法如SGD、Adagrad、Adadelta和Adam，通过梯度截断防止梯度爆炸，以及在验证集性能未提升时下调学习率。该策略能有效提升模型训练效率和性能。

文章目录

参考代码
初始化
梯度截断
下调学习率

参考代码

https://github.com/laiguokun/LSTNet

初始化

import math
import torch.optim as optim

class Optim(object):

    def _makeOptimizer(self):
        if self.method == 'sgd':
            self.optimizer = optim.SGD(self.params, lr=self.lr)
        elif self.method == 'adagrad':
            self.optimizer = optim.Adagrad(self.params, lr=self.lr)
        elif self.method == 'adadelta':
            self.optimizer = optim.Adadelta(self.params, lr=self.lr)
        elif self.method == 'adam':
            self.optimizer = optim.Adam(self.params, lr=self.lr)
        else:
            raise RuntimeError(