pytorch requires_grad与优化器优化

原创于 2019-08-13 14:41:43 发布 · 545 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch

深度学习专栏收录该内容

18 篇文章

订阅专栏

本文通过一个实例展示了如何使用PyTorch构建并训练神经网络。首先定义了一个包含ReLU激活函数的网络结构，然后利用Adam优化器进行参数更新。通过计算MSE损失并在反向传播中调整权重，实现了对输入数据的拟合过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import torch.nn as nn
import torch
import torch.optim as optim

m = torch.randn((2,3,6))

class Abc(nn.Module):
    def __init__(self):
        super().__init__()
        self.relu = nn.Linear(18,1)
        
    def forward(self,x):
        x = x.view(2,-1)
        print(x.shape)
        x = self.relu(x)
        return x
m = torch.autograd.Variable(m,requires_grad=True)
mo = Abc()
optimizer = optim.Adam([m])
loss_fun = nn.MSELoss()

target = torch.autograd.Variable(torch.randn(2,1)).float()
out = mo(m)
loss = loss_fun(out,target)

optimizer.zero_grad()
loss.backward()
optimizer.step()

当m的requires_grad=True并且优化器中为m时才会改变m的值，风格迁移就是不断改变改变输入的图片，并使优化器不断优化。