torch学习笔记(4)——torch的动态计算图

最新推荐文章于 2025-04-06 18:10:59 发布

RuiXuan Zhang

最新推荐文章于 2025-04-06 18:10:59 发布

阅读量800

点赞数 1

分类专栏： torch 文章标签： pytorch 深度学习机器学习

本文链接：https://blog.youkuaiyun.com/qq_44813407/article/details/122478502

版权

torch 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了计算图的基本概念，包括节点和边的定义，并通过一个具体的PyTorch实例展示了如何利用计算图进行梯度计算和反向传播。此外还讨论了动态图和静态图的区别。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import torch
import numpy as np
import matplotlib.pyplot as plt

# 计算图（Computer Graph）是用来描述运算的有向无环图
# CG包括两个主要元素：结点（Node）、边（Edge）
# Node表示数据
# Edge表示运算
# 如果想使用非leaf结点的梯度。则需要在反向传播之前调用.retain_grad（）
# CG作用：方便梯度求取及反向传播
# 案例
# y = (x+w)(w+1)，则当w=1，x=2时，y对w的grad是多少？
w = torch.tensor([1.], requires_grad=True)
x = torch.tensor([2.], requires_grad=True)

a = torch.add(w, x)
b = torch.add(w, 1)
y = torch.mul(a, b)

y.backward()
# 可以通过.grad判断变量是否有grad,在反向传播结束后非leaf结点的grad会被释放
print(w.grad)
# grad_fn用于记录创造该tensor时所用的function，实质是在记录Edge
print(y.grad_fn)
# 根据CG搭建方式，可以将CG分为动态图和静态图
# 动态图（Dynamic Graph）运算与搭载同时进行，自驾游
# 静态图（Computation Graph）先搭载图，后运算，跟团旅游