73、自动微分与经典神经网络架构解析

自动微分与经典神经网络架构解析

1. 反向模式自动微分

反向模式自动微分是一种强大且精确的技术，尤其适用于输入多而输出少的情况。TensorFlow采用了这种方法来计算偏导数。

反向模式自动微分的工作流程如下：
- 前向传播 ：从输入到输出遍历计算图，计算每个节点的值。
- 反向传播 ：从输出到输入再次遍历计算图，计算所有的偏导数。“反向模式”的名称即来源于此反向传播过程，此时梯度沿反向流动。

在计算偏导数时，反向模式自动微分严重依赖链式法则：
[
\frac{\partial f}{\partial x} = \frac{\partial f}{\partial n_i} \times \frac{\partial n_i}{\partial x}
]

以下是一个具体的计算示例，假设从(x = 3)和(y = 4)开始计算：
|节点|计算过程|偏导数结果|
| ---- | ---- | ---- |
| (n_7) | 由于(n_7)是输出节点，(f = n_7)，所以(\frac{\partial f}{\partial n_7} = 1) | 1 |
| (n_5) | (\frac{\partial f}{\partial n_5} = \frac{\partial f}{\partial n_7} \times \frac{\partial n_7}{\partial n_5})，已知(\frac{\partial f}{\partial n_7} = 1)，且(n_7 = n_5 +