从反向传播看 QKV：注意力只是计算图里的几个节点

从反向传播看 QKV：注意力只是计算图里的几个节点

一句话版：继续沿用上一篇《反向传播通关指南》的框架——“每层只管局部导数，剩下的交给链式法则连乘”。Q、K、V 在结构上就是三个 Linear 层（也就是上一篇那块最熟悉的积木 $y=wx+b$，只是放大成了矩阵）；attention 本身只是计算图里多出来的几个节点（矩阵乘 → 缩放 → softmax → 矩阵乘），每个节点照旧只有一个局部导数。真正神奇的地方在于：Q/K/V 的"语义角色"不是写死的，而是反向传播把梯度推了几万步之后"涌现"出来的。

前置阅读：blog_backprop.md（反向传播 + autograd + minidnn）。
配套：transformer_architecture.md（Transformer 整体架构、KV Cache、硬件视角）。

适合读者：已经看懂反向传播（“三块积木 + 链式法则 + 计算图”），想从"训练/梯度"的角度而不是只看公式的角度理解 QKV 的人。
你将收获：一套"QKV 不神秘"的心智模型、一组算到底的具体数字（前向 + 反向）、以及一个能解释"为什么 Q/K/V 会变得有用"的关键洞察。

---

0. 前置：只靠反向传播文章的三个结论

从 blog_backprop.md 里带走三句话，后面全靠它们：

1. 导数 = 谁影响谁：反向传播只关心相邻两层，每段当成单变量求导，然后连乘。
2. 三块积木：线性层 $y=wx+b$、激活层 $a=\tanh (z)$、损失 $L=(out-y{)}^2$——任何网络都能用它们拼出来。
3. autograd = 链式法则 × 计算图：前向时每个运算记成一个节点（值 + 输入 + 反向函数），反向时按拓扑序倒着遍历、逐个调用反向函数。loss.backward() 和 175B 参数的大模型，机制完全一样。

本文要做的只有一件事：把第 2 条"积木"和第 3 条"计算图"，原封不动地搬到 attention 上。

---

1. 结构上：QKV 就是三个 Linear 层

先复习上一篇的第一块积木：

$$y=wx+b⟹\frac{\partial y}{\partial w}=x,\frac{\partial y}{\partial b}=1,\frac{\partial y}{\partial x}=w$$

而 attention 的三个投影，数学形式一模一样：

$$Q=X{W}_Q,K=X{W}_K,V=X{W}_V$$

其中 $X\in {\mathbb{R}}^{L\times d_{model}}$（$L$ 个 token，每行一个 token 的向量），$W_Q/W_K/W_V\in {\mathbb{R}}^{d_{model}\times d_{head}}$ 是三个独立的参数矩阵。

所以局部导数可以直接照抄上一篇的速查表，只是把标量乘法换成矩阵乘法（GEMM）——这正是 blog_backprop.md 第 4 节预告的"标量 → 矩阵，导数同一套"：

上一篇（标量/向量）	Q/K/V 版（矩阵）
$dW=X^{\top }dZ$	$d{W}_Q=X^{\top }dQ,d{W}_K=X^{\top }dK,d{W}_V=X^{\top }dV$
$dX=dZ{W}^{\top }$	$d{X}_Q=dQ{W}_Q^{\top }$（Q 这一路）
$db={\sum }_{n}dZ$	$d{b}_Q={\sum }_{n}dQ$（K、V 同理）

结论 1（本节核心）：W_Q / W_K / W_V 和你手写的 W1 / W2 没有任何本质区别——它们都是"要更新的参数"，更新规则都是

$$W\leftarrow W-\eta \frac{\partial L}{\partial W}$$

Q/K/V 的名字（query/key/value）不是结构决定的，是用途决定的。结构上，它们只是三个并排的 Linear 层，从同一份输入 $X$ 出发、各自线性投影到 $d_{head}$ 维。

上图中，带参数（要训练）的只有三个 Linear 和最后的输出投影；中间的 QKᵀ、√d、softmax、P·V 都是无参数节点——它们只是负责"怎么组合信息"，本身没有权重可更新。

---

2. 一个具体数字例子：前向算到底

为了把"只是几个节点"落到实处，照抄上一篇"拿真实数字从头算"的风格。设 2 个 token、$d=2$：

$$X=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right],W_Q=\left[\begin{array}{cc}0.5& -1\\ 1& 0.5\end{array}\right],W_K=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right],W_V=\left[\begin{array}{cc}0.5& 0\\ 0& 1\end{array}\right]$$

① 三次投影（就是三个 Linear 前向）

$$Q=X{W}_Q=\left[\begin{array}{cc}2.5& 0\\ 5.5& -1\end{array}\right],K=X{W}_K=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right],V=X{W}_V=\left[\begin{array}{cc}0.5& 2\\ 1.5& 4\end{array}\right]$$

② 匹配打分：$S=Q{K}^{\top }/\sqrt{d}$

这里的上标 ${}^{\top }$ 是转置（不是逆）：把 $K$ 沿主对角线翻转、行变列，好让 $Q$ 的第 $i$ 行能和 $K$ 的第 $j$ 行对齐做内积。

$$K=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]\Rightarrow K^{\top }=\left[\begin{array}{cc}1& 3\\ 2& 4\end{array}\right]$$

矩阵乘法是"行 × 列，对应相乘再相加"，逐个元素算：

$$Q{K}^{\top }=\left[\begin{array}{cc}2.5& 0\\ 5.5& -1\end{array}\right]\left[\begin{array}{cc}1& 3\\ 2& 4\end{array}\right]=\left[\begin{array}{cc}2.5\times 1+0\times 2& 2.5\times 3+0\times 4\\ 5.5\times 1+(-1)\times 2& 5.5\times 3+(-1)\times 4\end{array}\right]=\left[\begin{array}{cc}2.5& 7.5\\ 3.5& 12.5\end{array}\right]$$

再除以 $\sqrt{d}=\sqrt{2}$ 防止数值爆炸：

$$S=\frac{Q{K}^{\top }}{\sqrt{2}}=\left[\begin{array}{cc}1.77& 5.30\\ 2.47& 8.84\end{array}\right]$$

$S_{ij}$ 的含义：第 $i$ 个 token 的 query 与第 $j$ 个 token 的 key 的匹配度（内积越大越"像"）。比如 $S_{12}=7.5$：token 1 的 query $[2.5,0]$ 和 token 2 的 key $[3,4]$ 内积 $=2.5\times 3+0\times 4=7.5$，远大于它和自己 key 的内积 $2.5\times 1+0\times 2=2.5$。

③ softmax 归一化：$P=\mathrm{softmax}(S)$（按行）

$$P=\left[\begin{array}{cc}0.028& 0.972\\ 0.002& 0.998\end{array}\right]$$

softmax 就是"先指数、再按行归一化"，拿第 1 行 $[1.77,5.30]$ 算一遍：

$$e^{1.77}=5.87,e^{5.30}=200.3,\text{分母}=5.87+200.3=206.2$$

$$P_{11}=\frac{5.87}{206.2}\approx 0.028,P_{12}=\frac{200.3}{206.2}\approx 0.972$$

读法：第 $i$ 行 = 第 $i$ 个 token 注意所有 token 的权重，每行加起来等于 1。上面这组数表明：token 2 几乎只注意自己（0.998），token 1 则主要注意 token 2（0.972）——这就是"注意力"这个名字的来源：不是所有 token 平均看待，而是按相关性加权。

④ 加权求和：$O=PV$（输出是 V 的加权平均，权重就是 softmax 那一行）

$$O=PV=\left[\begin{array}{cc}0.028& 0.972\\ 0.002& 0.998\end{array}\right]\left[\begin{array}{cc}0.5& 2\\ 1.5& 4\end{array}\right]=\left[\begin{array}{cc}1.472& 3.943\\ 1.498& 3.997\end{array}\right]$$

还是"行 × 列"：$O$ 的每个元素 = $P$ 的一行与 $V$ 的一列点积。比如第 1 行第 1 列：

$$O_{00}=0.028\times 0.5+0.972\times 1.5=1.472$$

——token 1 的输出 = 把自己对 token 2 的 V 拿大头（0.972），混上自己的一小部分（0.028）。

一句话直觉：Q 说"我在找什么"，K 说"我身上有什么标签"，两者内积 = 匹配度；softmax 把匹配度变成权重；V 说"我能提供什么内容"；最后按权重把 V 加权求和 = 按匹配度收集信息。

---

3. 反向传播穿过 attention：也只是几个局部导数

上一篇的灵魂是"每个运算 = 一个节点 + 一个存好的反向函数"。attention 拆开就是 5 个节点，每个节点都有现成的局部导数：

节点	前向	反向要算的局部导数
缩放内积	$S=Q{K}^{\top }/\sqrt{d}$	$dQ=(dS/\sqrt{d})K,dK=(dS/\sqrt{d}{)}^{\top }Q$
softmax	$P=\mathrm{softmax}(S)$	$dS=P\odot (dP-1(P^{\top }dP))$
加权求和	$O=PV$	$dP=dO{V}^{\top },dV=P^{\top }dO$

再往后，$dQ,dK,dV$ 各自流进自己的 Linear，用第 1 节那张表（$d{W}_Q=X^{\top }dQ$ 等）把梯度累积到 W_Q / W_K / W_V 上，W_K 还要额外累积到 $X$（$d{X}_K=dK{W}_K^{\top }$），因为 $X$ 同时被三路共享。

注意 softmax 的反向长这样、而不是"每个元素除一下就完事"——因为 softmax 的每个输出 $P_{ij}$ 依赖同一行所有输入 $S_{ik}$（分母是整行求和）。但这也只是一个局部导数，公式查表即可，和 $\tanh$ 的 $1-a^2$ 地位相同。

用第 2 节那组数字，把反向也走一遍。设损失只关心 $O$ 的 $(0,0)$ 元素，$L=(O_{00}-2{)}^2$，于是

$$dO=\frac{\partial L}{\partial O}=\left[\begin{array}{cc}2(1.472-2)& 0\\ 0& 0\end{array}\right]=\left[\begin{array}{cc}-1.057& 0\\ 0& 0\end{array}\right]$$

从 $dO$ 往回，每一步只算"局部斜率"（对照第 1 节的表逐项代入）：

节点	局部导数代入	结果
$O=PV$ → $V$	$dV=P^{\top }dO$	$dV=\left[\begin{array}{cc}-0.030& 0\\ -1.027& 0\end{array}\right]$
$O=PV$ → $P$	$dP=dO{V}^{\top }$	$dP=\left[\begin{array}{cc}-0.528& -1.585\\ 0& 0\end{array}\right]$
softmax	$dS=P\odot (dP-1(P^{\top }dP))$	$dS=\left[\begin{array}{cc}+0.029& -0.029\\ 0& 0\end{array}\right]$
$Q{K}^{\top }/\sqrt{d}$ → $Q$	$dQ=(dS/\sqrt{d})K$	$dQ=\left[\begin{array}{cc}-0.041& -0.041\\ 0& 0\end{array}\right]$
$Q{K}^{\top }/\sqrt{d}$ → $K$	$dK=(dS/\sqrt{d}{)}^{\top }Q$	$dK=\left[\begin{array}{cc}0.051& 0\\ -0.051& 0\end{array}\right]$

再各走一步就到权重（三个 Linear 的局部导数）：

$$d{W}_V=X^{\top }dV=\left[\begin{array}{cc}-3.110& 0\\ -4.167& 0\end{array}\right],d{W}_Q=X^{\top }dQ=\left[\begin{array}{cc}-0.041& -0.041\\ -0.082& -0.082\end{array}\right],d{W}_K=X^{\top }dK=\left[\begin{array}{cc}-0.103& 0\\ -0.103& 0\end{array}\right]$$

然后和上一篇一模一样：$W\leftarrow W-\eta dW$，梯度下降一步，损失下降，循环。

这个结果你也可以像上一篇第 4 节那样，用"数值梯度验证"（有限差分）复核——softmax 和注意力处处可导，两条独立路径应该对得上。整个 attention 路径上没有任何需要"特判"的魔法。

---

4. 关键洞察：Q/K/V 的角色是梯度"训练"出来的

这是从反向传播视角看 QKV 最大的收获。回到上一篇第 2 节：训练 = 反复问 $\partial L/\partial W$，然后更新。

• 初始时刻：W_Q / W_K / W_V 是随机数，此时注意力模式（$P$）毫无规律，softmax 近似均匀分布——所有 token 平均注意，等于没注意。
• 每一轮：前向算出 $L$ 和 $P$；反向把梯度流回三个投影；更新 $W_Q,W_K,W_V$。
• 梯度在"教"它们什么：损失 $L$ 隐含着"这个位置该参考哪些位置的信息"（比如"it"后面应该参考"the cat"）。梯度 $\partial L/\partial W_Q$ 就朝能产生这种注意力模式的方向去推投影权重。
• 几万步之后：$W_Q$ 学会了"提出对的查询"，$W_K$ 学会了"给出对的标签"，$W_V$ 学会了"给出有用的内容"。

所以 Q/K/V 不是被谁"设计"成 query/key/value 的——是反向传播把这三个普通参数矩阵训练成了有这个分工。它们只是三个并排的 Linear 层，只是恰好处在"匹配"（QKᵀ）和"取值"（×V）这两个运算的两侧，于是梯度就把语义装进了它们。

这和你上一篇"梯度是负的 → 说明 $w_1$ 该变大"是同一件事：梯度不解释语义，但它会找到让损失下降的方向。attention 只是让这条方向里多了一类"选择性组合"的算子。

---

5. 为什么是 QKV 这种结构？（还有别的吗）

一句话版：QKV 不是唯一可能的结构，而是"选择性收集信息"这个需求下，表达能力 × 可训练性 × 硬件速度三者权衡的产物。想知道它好在哪，最好的办法是想象"去掉 Q"或"去掉 V"会退化到什么程度——那正是其它结构存在的理由。

5.1 先看需求：attention 要解决两个子问题

每个 token 输出时要做两件不同的事：

1. 决定"该参考谁、参考多少" —— 匹配/打分（对应 $Q\cdot K$）；
2. 把参考对象的"内容"拿过来 —— 取值/收集（对应 $\times V$）。

所以结构天生需要两条不同的信息通道：一条管"谁重要"（Q/K），一条管"给什么内容"（V）。

5.2 Q 和 K 为什么要分开：匹配必须是非对称的

看打分矩阵 $S_{ij}=Q_i\cdot K_j$：$S_{ij}$（i 问 j）和 $S_{ji}$（j 问 i）相互独立、可以不一样——语言正是这样（词序、方向、主谓宾角色都带着方向性）。

如果不用 Q/K 分开，直接用输入自己打分 $S=X{X}^{\top }$：

• 对称：$S_{ij}=S_{ji}$，注意力方向无法区分；
• 对角占优：自己和自己的内积最大，softmax 后每行几乎只注意自己 → 退化成"没注意别人"；
• 不可学习：$X{X}^{\top }$ 没有可训练参数，学不出"该找谁"。

而 $Q=X{W}_Q,K=X{W}_K$ 是两个独立可训练的投影，等于给每个 token 两顶帽子：“我想找什么”（Q） 和 “我身上有什么标签”（K）。一个 token 可以"自己想要猫"，但"身上贴着狗"，别人就能按"狗"这个标签找到它——这正是第 4 节"角色由梯度训练出来"的落点。

5.3 V 为什么要单独：匹配和内容是两种职责

$V=X{W}_V$ 让"哪些位置值得被看"（由 $S$ 决定）和"这些位置实际提供什么"（由 $V$ 决定）解耦：

• 一个 token 可以"特别显眼、被大家注意"（K 有强标签），但实际内容（V）是另一套向量；
• 没有 V、直接用输入加权（$O=PX$）也能做，但"被注意的资格"和"携带的内容"被迫共用同一个向量，互相牵制、表达能力受限。

加权求和 $O=PV$ 本质上是一个可学习的"软查表"：先定位（Q/K），再取值（V）。

5.4 其它结构真的存在

结构	打分方式	优点	缺点
QKV（本文）	$Q{K}^{\top }/\sqrt{d}\to \mathrm{softmax}$	非对称、可学习、一个 GEMM 搞定、GPU 极快	O(L²) 复杂度；三次投影的参数开销
加性注意力（Bahdanau）	$v^{\top }\tanh (W_1{h}_i+W_2{s}_j)$	早年主流、灵活	不是纯矩阵乘，硬件不友好、慢
无投影自相似	$X{X}^{\top }$	零参数、最省	对称、对角占优、不可学习（退化）
线性注意力	$\varphi (Q)\varphi (K{)}^{\top }$（去掉 softmax）	可结合律 → O(L) 复杂度	表达不了尖锐的"赢者通吃"
MQA / GQA	多头之间共享 K/V	KV Cache 省内存、推理快	每头表达能力略降

QKV 选的是点积（乘性）注意力这一支：矩阵乘 = GEMM = 硬件最爱，加 $\sqrt{d}$ 缩放是为了数值稳定。

5.5 优劣势清单

优势

• 非对称匹配 → 能表达方向性、词序、角色关系；
• Q/K/V 三个独立投影 → 梯度能分别"教"它们扮演不同角色（呼应第 4 节）；
• 结构统一 → 自注意力、跨注意力（Q 来自序列 A，K/V 来自序列 B）、多头，都只是改输入；
• 计算全是矩阵乘，GPU 友好。

代价

• 三次投影：输入 $d$ 维 → 3 个 $d\times d$ 投影，参数和算力不便宜；
• O(L²) 的注意力矩阵：序列一长就爆炸，所以才有 FlashAttention、稀疏/线性注意力、GQA 等后续改造；
• 结构假定了"匹配 → 收集"这个配方是对的；位置信息要另加位置编码（RoPE 等）；
• 超参数多（$d_{head}$、$n_{heads}$…），调起来麻烦。

一句话直觉：Q 负责问、K 负责被找到、V 负责给内容。想验证这个设计值钱在哪，就试着"去掉 Q"或"去掉 V"，看它会退化到什么程度——那是替代结构存在的理由。

---

6. 主流开源模型在这个基础上升级了什么？

一句话版：从 2017 到现在的旗舰开源模型（Llama、Mistral、Qwen、DeepSeek…），没有推翻 QKV，而是围着它的几个痛点做手术——O(L²) 复杂度、位置编码、KV Cache 内存、数值稳定。你学会的这套前向 + 反向，换上它们的"外壳"后依然成立。

6.1 先给一张总览：痛点 → 主流解法

博客里的痛点（第 5.5 节）	主流开源模型的解法
O(L²) 的注意力矩阵	FlashAttention、滑动窗口、稀疏注意力、线性注意力
位置信息要另加编码	RoPE（旋转位置编码）+ YaRN/NTK 长上下文缩放
三次投影 / KV 开销大	KV Cache、MQA → GQA、DeepSeek 的 MLA
$\sqrt{d}$ 只能粗略压内积	QK-Norm（对 Q、K 先归一化）
单头表达能力有限	多头 + GQA 分组（本质还是那套 QKV）

6.2 推理内存：GQA 是默认项，MLA 更进一步

• KV Cache：生成时把历史 K/V 存下来、不重算——推理标配。
• MQA / GQA（Llama 2/3、Mistral、Qwen）：多头之间共享 K/V（GQA 是每 $g$ 个头一组共享），KV Cache 大幅缩小。打分逻辑 $Q{K}^{\top }$ 完全不变，只是 K/V 的头数变少了。
• MLA（DeepSeek-V2/V3）：把 K/V 先压进一个低维"潜向量"，用的时候再展开，KV Cache 缩到约 1/10。等于"KV 也加了个瓶颈层"。

6.3 位置编码：RoPE 取代正弦/绝对位置

• RoPE（旋转位置编码）：把位置信息旋转进 Q/K 的内积——$Q$、$K$ 各乘一个随位置旋转的矩阵，内积天然带"相对位置"。现在开源旗舰几乎全套用它（呼应第 5.5 节"位置要另加编码"，它就是那个答案）。
• 长上下文：RoPE 不能无限外推，于是有 YaRN、NTK 缩放、dynamic RoPE——训练 4K 的模型推理能撑到 128K+。

6.4 复杂度 O(L²)：软硬兼施

• FlashAttention（工程层，不改模型）：不把 $L\times L$ 矩阵物化到显存，分块算 + 反向重算，速度显存双赢。PyTorch 的 sdpa 默认就是它。
• 滑动窗口（Mistral）：每 token 只看附近窗口，外加少量全局层。
• 稀疏注意力（DeepSeek-V3.2 / NSA）：对打分做 top-k 选择，只算重要的那部分——就是第 5.4 节表格里"稀疏/线性注意力"那一行，现在真落地了。

6.5 数值稳定与结构级创新

• QK-Norm（Qwen3、Gemma 2）：算 $Q{K}^{\top }$ 之前先对 Q、K 做归一化——比 $\sqrt{d}$ 更彻底地控制内积尺度（第 2 节那个 $\sqrt{d}$ 的进阶版）。
• 模型块层面：Pre-norm + RMSNorm + SwiGLU（Llama 系）已成新基线，但不动 attention 本身。
• MoE（DeepSeek-V3、Mixtral）：换的是 FFN（专家路由），attention 还是普通 GQA/MLA——QKV 这块地基至今没人推翻。
• Hybrid（Jamba）：attention 与状态空间模型（Mamba）交替堆叠，长序列便宜、短序列精确。
• MTP（DeepSeek-V3）：一次预测多个下一个 token，纯训练技巧。

一句话直觉：你刚学会的 QKV 是所有主流模型 attention 的地基；升级都发生在"地基之上"——位置怎么进（RoPE）、KV 怎么省（GQA/MLA）、L×L 怎么躲（FlashAttention/稀疏）、数值怎么稳（QK-Norm）。

---

7. 一张图看懂：Attention + FFN 组成一个 Transformer Block

把前 6 节拼起来看——一个 Transformer Block = 注意力子层（QKV）+ 前馈子层（FFN），两件事交替、残差相连：

这张图里的两个关键澄清：

1. token 是什么：token 不是权重矩阵，而是输入数据——序列里的一个单元（一个词/子词/图像块）。$X$ 的每一行就是一个 token 的向量；$W_Q/W_K/W_V$（以及 FFN 的 $W_1,W_2$）才是权重矩阵（参数）。本文例子里 2 个 token，就是 $X$ 有 2 行。
2. 左半是本文（QKV，你已会算），右半是上一篇的 MLP（FFN）：注意力负责"token 之间通信"，FFN 负责"每个 token 独自加工"。整个 Transformer = 这两件事交替 N 次。

一句话：attention 决定"该听谁的"，FFN 决定"听完怎么想"；token 是数据（$X$ 的行），QKV/FFN 里的 $W$ 才是要训练的权重。

还有一个关键：图里的"＋ 残差"是给梯度修的"直达高速路"。

每个子层都套着 $out=x+F(x)$（$F$ 是 attention 或 FFN）。它存在的意义：

• 反向时梯度至少是 1：对"加法节点"求导得 $\partial out/\partial x=1+\partial F/\partial x$，那个 “$1$” 来自直达路——梯度能绕过子层直接传回前一层，不会随着深度连乘而消失；
• 每层只需学"增量"：最坏情况 $F=0$，输出仍是 $x$（等价恒等映射），先不掉分、再慢慢精修；
• 所以 Transformer 能堆几十上百层：没有残差，深网梯度会消失、前面学不动（这是 ResNet 2015 的关键贡献，Transformer 全盘继承）。

一句话：attention 决定"该听谁的"，FFN 决定"听完怎么想"，残差决定"梯度能不能一路穿回去"；token 是数据（$X$ 的行），QKV/FFN 里的 $W$ 才是要训练的权重。

---

8. 收尾：和上一篇的"下一步"接上

readme.md 第 4 节说过：把 MLP 的 W 换成 Q/K/V 投影、把 h@W 换成 softmax(QKᵀ/√d)V，attention 也只是计算图里的几个节点，反向传播完全一样自动。本文把这句话兑现了：

上一篇的 MLP	Transformer 的 attention
W1, W2（2 个 Linear）	W_Q, W_K, W_V + 输出投影（4 个 Linear）
$z=wx+b\to \tanh \to out$	$Q{K}^{\top }/\sqrt{d}\to \mathrm{softmax}\to \times V$
局部导数：$dW=X^{\top }dZ$	同一套，加上 softmax / 矩阵乘的局部导数
训练循环：前向 → 损失 → 反向 → 更新	完全一样

完整的心智模型一句话：

QKV = 你早已会算的三个 Linear 层（上一篇的第一块积木，变大了）；attention = 计算图里多出的几个无参数节点（每个节点只需一个局部导数）；它们的语义角色 = 梯度下降几万步之后"涌现"的结果。 你手写的 60 行 autograd，放到 attention 上一样能自动算出 $\partial L/\partial W_Q$。

下一步建议（呼应 readme.md 的路线图）：动手写一个 attention_backprop.py 小实验——用 numpy 手写 softmax(QKᵀ/√d)V 的前向 + 反向，再用有限差分验证梯度，然后用它替换 backprop_lab.py 里的线性层，你就能亲眼看到"注意力的梯度到底从哪来"。

---

附：本文用到的公式速查

积木	局部导数
线性层 $Y=XW+b$	$dW=X^{\top }dY,db={\sum }_{n}dY,dX=dY{W}^{\top }$
缩放内积 $S=Q{K}^{\top }/\sqrt{d}$	$dQ=(dS/\sqrt{d})K,dK=(dS/\sqrt{d}{)}^{\top }Q$
softmax $P=\mathrm{softmax}(S)$	$dS=P\odot (dP-1(P^{\top }dP))$
加权求和 $O=PV$	$dP=dO{V}^{\top },dV=P^{\top }dO$

规则没变：每一层只管它对"直接输入"的导数，剩下的交给链式法则连乘；要更新的参数永远在分母里（$\partial L/\partial W_Q$），分子永远是损失 $L$。