pytorch神经网络特殊的优化器使用的一些注意点笔记

最新推荐文章于 2024-10-13 17:31:28 发布

苏格拉没有鞋底

最新推荐文章于 2024-10-13 17:31:28 发布

阅读量275

点赞数

分类专栏： python 机器学习文章标签：算法 python 神经网络

本文链接：https://blog.youkuaiyun.com/sgld995/article/details/105524249

版权

python 同时被 2 个专栏收录

20 篇文章

订阅专栏

机器学习

6 篇文章

订阅专栏

本文详细介绍了优化器中的step()方法如何用于更新参数，包括其两种使用方式：简单的optimizer.step()和需要闭包的optimizer.step(closure)。通过实例展示了在训练循环中如何正确调用这些方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

详情可参考官方文档

所有优化器都实现一种step()更新参数的方法。它可以以两种方式使用：

optimizer.step()

这是大多数优化程序支持的简化版本。一旦用来计算梯度，就可以调用该函数 backward()。

例：

for input, target in dataset:
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    optimizer.step()

optimizer.step(closure)

一些优化算法（例如共轭梯度和LBFGS）需要多次重新评估函数，因此您必须传递一个闭包以允许它们重新计算模型。闭合应清除梯度，计算损耗，然后将其返回。

例：

for input, target in dataset:
    def closure():
        optimizer.zero_grad()
        output = model(input)
        loss = loss_fn(output, target)
        loss.backward()
        return loss
    optimizer.step(closure)