7、反向传播算法中的动态规划与节点导数计算

反向传播算法中的动态规划与节点导数计算

在图论中，对于有向无环图（DAG）上各类路径聚合值的计算，动态规划是一种常用且有效的方法。下面我们将详细探讨如何利用动态规划计算节点到节点的导数，以及它在神经网络反向传播算法中的应用。

1. 动态规划计算节点到节点导数的基础原理

考虑一个有向无环图，每条边 $(i, j)$ 都关联一个值 $z(i, j)$，它表示节点 $j$ 中的变量相对于节点 $i$ 中变量的局部偏导数。即如果 $y(p)$ 是节点 $p$ 中的变量，那么有：
[z(i, j) = \frac{\partial y(j)}{\partial y(i)}]

我们的目标是计算从源节点 $s$ 到输出节点 $t$ 的所有路径上 $z(i, j)$ 的乘积之和，以此得到偏导数 $S(s, t)$：
[S(s, t) = \sum_{P \in \mathcal{P}} \prod_{(i, j) \in P} z(i, j)]
其中，$\mathcal{P}$ 表示从源节点 $s$ 到输出节点 $t$ 的所有路径集合。

为了计算中间节点 $i$（位于源节点 $s$ 和输出节点 $t$ 之间）的聚合值 $S(i, t)$，我们可以使用以下动态规划更新公式：
[S(i, t) \Leftarrow \sum_{j \in A(i)} S(j, t)z(i, j)]
这里，$A(i)$ 表示从节点 $i$ 出发的所有边的终点节点集合。

该计算过程可以从直接与输出节点 $t$ 相连的节点开始反向进行，因为 $S(t, t) = \frac{\partial y(t)}{\partial y(t)}