torch.optim

Coding业余爱好者

于 2021-07-14 20:21:24 发布

阅读量332

点赞数

分类专栏： python 文章标签： python 大数据人工智能

本文链接：https://blog.youkuaiyun.com/weixin_39897107/article/details/118735922

版权

torch.optim是一个优化库，包含多种优化算法。在构建时，需要提供待优化参数。使用流程包括：初始化optimizer，如optim.Adam，然后在每次迭代中调用optimizer.zero_grad()清零梯度，接着计算损失并调用loss.backward()计算梯度，最后通过optimizer.step()应用梯度更新。Adam优化器基于Adam算法，可通过设置lr、betas、eps和weight_decay等参数进行调整。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

资料参考：https://www.jianshu.com/p/f8955dbc3553

torch.optim是一个实现了各种优化算法的库。

构建

为了构建一个Optimizer，你需要给它一个包含了需要优化的参数（必须都是Variable对象）的iterable。然后，你可以设置optimizer的参数选项，比如学习率，权重衰减，等等。

optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum=0.9)
optimizer = optim.Adam([var1, var2], lr = 0.0001)

使用

一般，使用optimizer的流程就是三行代码：

optimizer.zero_grad()
loss.backward()
optimizer.step()

具体一点代码就是：

params=set(model.encoder.parameters())
optimizer_encoder=optim.Adam(params, lr=5e-4)
opt=optimizer_encoder
for optimizer in opts:
  optimizer.zero_grad()  # step1
loss=model(一些需要的参数)

最低0.47元/天解锁文章