链式法则(Chain rule)

victor-gx

已于 2022-03-23 09:35:20 修改

阅读量753

点赞数

分类专栏：笔记 PyTorch 文章标签： pytorch 深度学习神经网络

于 2022-02-11 23:42:51 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_51296032/article/details/122890701

版权

笔记同时被 2 个专栏收录

43 篇文章

订阅专栏

PyTorch

23 篇文章

订阅专栏

Chain rule

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-m8neFDJC-1644594107615)(H:\codes\pytorch\Deep_Learning_PyTorch_note\链式法则.assets\image-20220125160410777.png)]$

>>> x=torch.tensor(1.)
>>> w1=torch.tensor(2.,requires_grad=True)
>>> b1=torch.tensor(1.)
>>> w2=torch.tensor(2.,requires_grad=True)
>>> b2=torch.tensor(1.)
>>> y1=x*w1+b1
>>> y2=y1*w2+b2
>>> from torch import autograd
>>> dy2_dy1=autograd.grad(y2,[y1],retain_graph=True)[0]
>>> dy1_dw1=autograd.grad(y1,[w1],retain_graph=True)[0]
>>> dy2_dw1=autograd.grad(y2,[w1],retain_graph=True)[0]
>>> dy2_dy1*dy1_dw1
tensor(2.)
>>> dy2_dw1
tensor(2.)