【零基础入门】从PyTorch计算机看反向传播（求梯度/求导）

🌈 个人主页：十二月的猫-优快云博客
🔥 系列专栏： 🏀《PyTorch科研加速指南：即插即用式模块开发》优快云博客

💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光 

目录

1. 前言

2. 动态图与静态图

静态图（如 TensorFlow 1.x）

动态图（如 PyTorch）

3. PyTorch中的计算图（动态图）

3.1 动态图的初步推导​编辑

3.2 动态图的叶子节点

3.2.1 retain_grad()​编辑

3.2.2 grad_fn

3.3  张量求导属性总结

4. 求解梯度方式

4.1 backward求解

4.2 autograd.grad()求解

5 二阶求导

5.1 计算图、中间变量梯度和高阶求导

5.1.1 计算图、中间变量梯度

5.1.2 高阶求导

5.2 二阶求导

6. 向量求导

7. 梯度清零

8. 总结