《PyTorch深度学习实践》-刘二大人-第四讲-反向传播算法

B站传送门刘二大人PyTorch第四讲

一、反向传播算法

代码解读：

正向计算loss需要自己计算，反向传播可以直接用pytorch中的backward函数直接计算导数，最后不断迭代更新即可

import  torch

x_data=[1.0,2.0,3.0]
y_data=[2.0,4.0,6.0]

w=torch.Tensor([1.0]) #设置w初值为1，w是一个Tensor
w.requires_grad=True

def forward(x):
    return x*w

def loss(x,y):
    y_pred=forward(x)
    return (y_pred-y)**2#计算损失

print('predict(before training',4,forward(4).item())#打印预测前结果

for epoch in range(100):
    for x,y in zip(x_data,y_data):
        l=loss(x,y)#l是一个张量tensor，建立前馈计算图，
        l.backward()#计算反向传播
        print('\tgrad:',x,y,w.grad.item())#计算梯度，w是张量，取出要用.item()
        w.data=w.data-0.01*w.grad.data#
        w.grad.data.zero_()

    print("progress",epoch,l.item())
print("predict(after training)",4,forward(4).item())

二、反向传播算法作业——y=w1*x^2+w2*x+b

w1.requires_grad=True是为了允许backward计算导数，这里有三个未知数，就需要将w1，w2，b的requires_grad都设置为true，再运行backward函数就可以计算了

# 函数y=w1*x^2+w2*x+b

import torch

x_data=[1.0,2.0,3.0]
y_data=[2.0,8.0,18.0]

w1=torch.Tensor([1.0]) #设置w1初值为1，w1是一个Tensor
w2=torch.Tensor([1.0])
b=torch.Tensor([1.0])
w1.requires_grad=True#允许backward计算
w2.requires_grad=True
b.requires_grad=True

def forward(x):
    return w1*x*x+w2*x+b

def loss(x,y):
    y_pred=forward(x)
    return (y_pred-y)**2#计算损失

print('predict(before training',4,forward(4).item())#打印预测前结果

for epoch in range(200):
    for x,y in zip(x_data,y_data):
        l=loss(x,y)
        l.backward()
        print('\tgrad:',x,y,w1.grad.item(),w2.grad.item(),b.grad.item())#计算梯度，w是张量，取出要用.item()
        w1.data=w1.data-0.01*w1.grad.item()
        w2.data = w2.data - 0.01 * w2.grad.item()
        b.data = b.data - 0.01 * b.grad.item()

        w1.grad.data.zero_()#grad清零
        w2.grad.data.zero_()
        b.grad.data.zero_()

        print("progress",epoch,l.item())
        print("predict(after training)", 4, forward(4).item())