Week1：[任务三] 第二节 autograd与逻辑回归

最新推荐文章于 2022-09-23 23:00:40 发布

夏目学习

最新推荐文章于 2022-09-23 23:00:40 发布

阅读量253

点赞数

分类专栏： Pytorch框架学习

本文链接：https://blog.youkuaiyun.com/qq_42261092/article/details/119390145

版权

Pytorch框架学习专栏收录该内容

19 篇文章

订阅专栏

【目录】

自动求导系统

逻辑回归

1、自动求导系统

torch.autograd.backward()方法

张量中的y.backward方法实际调用的是torch.autograd.backward()方法

同一个张量反向传播的迭代，需要将y.backward(retain_graph)设置为True

tensors为用于求导的张量，如loss；loss.background()，用于对requires_grad为true的叶子节点进行梯度自动求解；
retain_graph用于保存计算图，因为pytorch为动态图机制，每次自动求导运算后都会释放掉，如果想要迭代使用计算图，需要将其置为true；
create_graph创建导数的计算图，通常用于高阶求导，如二阶、三阶；
grad_tensors：多梯度权重设置，当有多个loss需要计算梯度时，需要设置各个loss的权重；

# retain_graph用处不多，一般迭代计算梯度，将loss表达式和loss.back一同放入for循环中即可

# ====================================== retain_graph ==============================================
flag = True
# flag = False
if flag:
    w = torch.tensor([1.], requires_grad=True)
    x = torch.tensor([2.], requires_grad=True)

    a = torch.add(w, x)
    b = torch.add(w, 1)
    y = torch.mul(a, b)

    y.backward(retain_graph=True)
    print(w.grad)
    y.backward(retain_graph=True)
    print(w.grad)

# grad_tensors多权重求梯度

#多权重求loss梯度
import torch

w = torch.tensor([1.],requires_grad = True)
x = torch.tensor([2.],requires_grad = True)

a = torch.add(w,x)
b = torch.add(w,1)
y0 = torch.mul(a,b)
y1 = torch.add(a,b)

loss = torch.cat([y0,y1],dim = 0)#拼接
print(loss)
grad_tensors = torch.tensor([1.,1.])

loss.backward(gradient = grad_tensors)#y0对w的梯度*权重+y1对w的梯度*权重
print(w.grad)


#运行结果输出
runfile('C:/Users/cheny/Desktop/untitled0.py', wdir='C:/Users/cheny/Desktop')
tensor([6., 5.], grad_fn=<CatBackward>)
tensor([7.])

torch.autograd.grad()方法

output为Y，input为X，求取的是Y对X的偏导，即求X的梯度

下划线表示原地操作in-place操作，在原始地址上直接进行改变，例如a+=1，a的地址没有变化

#求高阶导数，create_graph = True设置
import torch
x = torch.tensor([3.],requires_grad=True)
y = torch.pow(x,2)#y=x²

grad_1 = torch.autograd.grad(y,x,create_graph=True)#一阶导数为y=2x=6
print(grad_1)

grad_2 = torch.autograd.grad(grad_1[0],x)#二阶导数为y=2
print(grad_2)


#运行结果输出
runfile('C:/Users/cheny/Desktop/untitled0.py', wdir='C:/Users/cheny/Desktop')
(tensor([6.], grad_fn=<MulBackward0>),)
(tensor([2.]),)

叶子张量不能执行in-place操作，因为前向传播保存的地址数据不能有变化，否则反向传播会出错

注意：

梯度在自动求导过程中不会自动清零，每次都会自动叠加上去，需要手动清零。e.g w.grad.zero_()进行清零
依赖于叶子结点的结点，requires_grad默认为True(是否需要梯度)
叶子结点不可执行in-place

#梯度不会自动清零，需要手动清零
import torch

w = torch.tensor([1.],requires_grad = True)
x = torch.tensor([2.],requires_grad = True)

for i in range(2):
    a = torch.add(w,x)
    b = torch.add(w,1)
    y = torch.mul(a,b)
    
    y.backward()
    print(w.grad)
    
    #w.grad.zero_() #手动清空

#运行结果输出
runfile('C:/Users/cheny/Desktop/untitled0.py', wdir='C:/Users/cheny/Desktop')
tensor([5.])
tensor([10.])