4、多层感知机学习方法与相关概念解析

多层感知机学习方法与相关概念解析

1. 多层感知机的前向与反向计算

在多层感知机中，对于 $i = 0$ 时，有 $y_{j0}^{(k)} = +1$ 和 $w_{j0}^{(k)} = b_{j}^{(k)}$，这里的 $b_{j}^{(k)}$ 是应用于第 $h$ 层神经元 $j$ 的偏置。第 $h$ 层神经元 $j$ 的输出信号为：
[y_{j}^{(h)}(k) = \phi_{j}(v_{j}^{(h)}(k))]
若神经元 $j$ 在第一个隐藏层（即 $h = 1$），则有：
[y_{j}^{(0)}(k) = x_{j}(k)]
若神经元 $j$ 在输出层（即 $h = H$，$H$ 为网络的深度），则有：
[y_{j}^{(H)}(k) = o_{j}(k)]
误差信号可通过下式获得：
[e_{j}^{(H)}(k) = d_{j}(k) - o_{j}(k)]

反向计算时，网络的局部梯度计算方式如下：
当神经元 $j$ 位于输出层 $H$ 时：
[\delta_{j}^{(H)}(k) = e_{j}^{(H)}(k)\phi_{j}’(v_{j}^{(H)}(k))]
当神经元 $j$ 位于隐藏层 $h$ 时：
[\delta_{j}^{(h)}(k) = \phi_{j}’(v_{j}^{(h)}(k))\sum_{l}\delta_{l}^{(h + 1)}(k)w_{lj}^{(h)}(k)]
其中，$\phi_{j}’(v_{j}^{(h)}(k))$ 表示关于自变量的微分。

根据广义 delta 规则更新第 $h$ 层网络的突触权