Pytorch中的计算图（Computational Graph）是什么

🧩 一、什么是计算图？

计算图是一种“有向无环图（DAG）”，表示变量（张量）之间的运算关系。

• 节点：张量或操作（如加法、乘法）
• 边：数据流（即某个操作的输入/输出）

PyTorch 利用计算图实现 自动求导（Autograd）：它在前向传播时记录每一步操作，然后反向传播时根据这些操作自动求导。

---

🚀 二、PyTorch 中的动态图机制

PyTorch 使用动态图（即计算图在运行时即时构建）：

每当你执行一行涉及张量运算的代码时，PyTorch 会自动记录这步操作，形成计算图。

优点：

• 更直观、更易调试
• 支持条件语句和循环

---

🧪 三、完美案例：一步步构建计算图并求导

📌 目标函数：

我们来手动推导这个函数的导数，然后用 PyTorch 验证：

$$y=(x+2{)}^2$$

✅ 手动推导导数：

$$\begin{gathered} y=(x+2{)}^2 \\ \frac{dy}{dx}=2(x+2) \end{gathered}$$

---

💻 PyTorch 实现

import torch

# 1. 创建叶子张量，设置 requires_grad=True 以便追踪梯度
x = torch.tensor([3.0], requires_grad=True)

# 2. 前向传播（自动构建计算图）
z = x + 2          # 第一步：加法
y = z ** 2         # 第二步：平方运算

# 3. 反向传播，计算 dy/dx
y.backward()

# 4. 打印梯度
print("x的值:", x.item())           # 3.0
print("y的值:", y.item())           # (3+2)^2 = 25
print("dy/dx 的值:", x.grad.item()) # 2*(3+2) = 10

✅ 输出：

x的值: 3.0
y的值: 25.0
dy/dx 的值: 10.0

---

🔍 四、计算图结构分析

print("y.grad_fn:", y.grad_fn)
print("z.grad_fn:", z.grad_fn)
print("x.grad_fn:", x.grad_fn)

输出如下：

y.grad_fn: <PowBackward0 object at ...>
z.grad_fn: <AddBackward0 object at ...>
x.grad_fn: None

说明：

• y 是通过 PowBackward0（平方操作）生成的
• z 是通过 AddBackward0（加法操作）生成的
• x 是“叶子节点”（Leaf Tensor），自己创建，不是由计算生成的 → grad_fn = None

---

📌 五、可视化计算图结构（逻辑图）

画一下这个计算图：

x (Leaf, requires_grad=True)
  |
 [Add (+2)]
  |
  z
  |
 [Power (**2)]
  |
  y

PyTorch 在前向传播时自动建立这张图，反向传播时从 y 逆着往上走，用链式法则自动求导！

---

📎 .requires_grad=True

开启梯度追踪。否则 PyTorch 不会构建计算图。

📎 .backward()

触发反向传播，从输出开始回传，逐步计算每个可求导变量的梯度。

📎 .grad

存储当前张量的梯度结果（默认只对标量调用 .backward()，向量需指定 gradient）。

---

✅ 小结

概念	说明
计算图	一张记录张量计算关系的有向无环图，用于自动求导
动态构建	PyTorch 每次运行 forward 时自动构建计算图
grad_fn	每个非叶子张量都有 grad_fn 表示它由哪个操作生成
backward()	自动沿着计算图反向传播梯度
grad	存储梯度值（对叶子节点而言）

附：方向导数

把“方向”想象成一根箭头（向量），指向某个你关心的方向，
问：“这个输出向量 y，在这个箭头方向上的变化，是由输入 x 多大的变化引起的？”

向量函数 $\mathbf{y}\in {\mathbb{R}}^n$，你不能直接对它求导，因为那会得到一个 Jacobian（雅可比矩阵）：

$$J=\frac{\partial \mathbf{y}}{\partial \mathbf{x}}\in {\mathbb{R}}^{n\times m}$$

但如果你说：

我只关心 $\mathbf{y}$ 在方向 $\mathbf{v}=[v_1,v_2,...,v_n]$ 上的变化，

那你实际上是在说：

$$\text{组合函数： }s={\mathbf{v}}^T\mathbf{y}=v_1{y}_1+v_2{y}_2+\cdots +v_n{y}_n$$

这个 s 就是你自己手动构造的标量函数，这样 PyTorch 就能求导了。

你把这个方向向量 $\mathbf{v}$作为 .backward(gradient=...) 传入，告诉它：“请对我这个组合函数求导”。

---

举例：

• 假设 $\mathbf{y}\in {\mathbb{R}}^2$，即 y = [y1, y2] 是一个二维输出
• 你可以选择一个方向 $\mathbf{v}=[0.6,0.8]$，也就是一根箭头向右上
• 然后问：在这个方向上，如果 y 发生变化，x 的梯度是多少？

这时候你就是把 y 向这个方向投影：

$${\mathbf{v}}^T\mathbf{y}=0.6\cdot y_1+0.8\cdot y_2$$

import torch

x = torch.tensor([1.0, 2.0], requires_grad=True)
y = x ** 2          # y = [1.0, 4.0]
direction = torch.tensor([0.3, 0.7])  # 你关心的方向

y.backward(gradient=direction)# 这时候你就把 direction = [0.3, 0.7]] 作为 y.backward() 的参数告诉 PyTorch，"我想反向传播的是这个方向"。

print(x.grad)  # x.grad 是 y 在这个方向上线性组合的导数

分析：

• y = [x₁², x₂²] ⇒ dy/dx = [2x₁, 2x₂] = [2.0, 4.0]
• gradient = [0.3, 0.7]
• 所以：
  $$x.grad=[2.0\cdot 0.3,4.0\cdot 0.7]=[0.6,2.8]$$

PyTorch 就会把这个结果放进 x.grad 里。

---

当loss是标量时：

output = model(x)  # output 是向量
loss = criterion(output, target)  # loss 是标量
loss.backward()  # ✅ 可以自动反向传播

为什么这里不需要你传 gradient？因为 loss 是标量，不需要说明方向，PyTorch知道你就是要对它求导。
但是如果你没有把向量变成标量，而是直接调用 .backward()，那 PyTorch 就不知道你想要哪个方向了，就必须你来指定。