现代机器学习研究进展 第一部分 数学与概率工具箱 第七章 — 自动微分、数值稳定性与微分方程数值解法（理论推导版）

本章严格推导自动微分（AD）实现机制（正向/反向）、数值稳定性（条件数、舍入误差、局部/全局截断误差、稳定区间）、以及显式/隐式 ODE/SDE 求解器在 Neural ODE / Neural SDE 中的应用与对应的梯度推导。每节给出数学定义、关键引理与逐步证明要点，并讨论实现上的复杂度与内存-时间权衡（可逆网络、检查点/重物化、连续/离散伴随方法等）。

---

7.1 自动微分的数学机制（正向/反向模式）

7.1.1 计算图与链式法则（记号）

---

7.1.2 正向模式 AD（forward-mode, dual numbers）

---

7.1.3 反向模式 AD（reverse-mode, adjoint）

---

7.1.4 模式比较与存储-时间权衡