73、自动微分与其他流行的人工神经网络架构

自动微分与其他流行的人工神经网络架构

1. 反向模式自动微分

反向模式自动微分是一种强大且精确的技术，尤其适用于输入多而输出少的情况。它通过两次遍历计算图，就能计算出所有偏导数。以下是其具体工作原理：
- 正向遍历 ：从输入到输出计算图中每个节点的值。
- 反向遍历 ：从输出到输入计算所有偏导数。

1.1 计算示例

假设函数 $f(x, y)$，输入 $x = 3$，$y = 4$。图中节点标记为 $n_1$ 到 $n_7$，输出节点 $n_7$，$f(3, 4) = n_7 = 42$。
根据链式法则：$\frac{\partial f}{\partial x} = \frac{\partial f}{\partial n_i} \times \frac{\partial n_i}{\partial x}$
- 因为 $n_7$ 是输出节点，所以 $\frac{\partial f}{\partial n_7} = 1$。
- 计算 $\frac{\partial f}{\partial n_5}$：$\frac{\partial f}{\partial n_5} = \frac{\partial f}{\partial n_7} \times \frac{\partial n_7}{\partial n_5}$，由于 $n_7 = n_5 + n_6$，则 $\frac{\partial n_7}{\partial n_5} = 1$，所以 $\frac{\partial f}{\partial n_5} = 1 \times 1 = 1$。