38、多层感知器与循环神经网络技术解析

多层感知器与循环神经网络技术解析

1. 多层感知器相关计算与稳定性分析

在多层感知器中，$\frac{\partial E_{kl}}{\partial w_{i}}$ 和 $\frac{\partial E_{k}}{\partial w_{ji}}$ 都通过循环反向传播来计算，它们的和用于更新 $w_{i}$ 和 $w_{ji}$。

在感知器和反向传播网络中实现 RC 动态时，数字实现意味着对连续时间动态进行数值模拟。若未达到稳定性，说明数值模拟过于粗糙，需要提高其时间分辨率。而模拟实现则可在感知器和反向传播网络中放置 RC 电路，以确保其具有适当的动态特性。

权重对称性是稳定性的充分但非必要条件。例如，前馈网络总是稳定的，但不满足对称性条件。权重对称性限制了网络的适应性，可能会降低网络的能力，这是确保网络始终稳定所需付出的代价。不过，在不强制对称性的情况下进行训练通常也能得到稳定的网络，在许多情况下，可先尝试这种方式，再考虑采用对称网络。

对于每个输入模式都有一个固定点的要求，目前尚无充分条件能保证这一点，对此只能进行定性讨论。在实践中，很少观察到存在多个稳定状态的情况，而且在训练过程中，多个稳定状态通常会自行合并。这是因为训练循环网络时，实际上是在尝试将其稳定状态移动到由输出期望值确定的特定区域。如果同一输入模式存在两个不同的稳定状态，且网络有时稳定在一个状态，有时稳定在另一个状态，那么就会尝试将它们都移动到同一区域，因此它们合并也就不足为奇了。另一方面，如果存在多个稳定状态，但网络总是稳定在同一个状态，那么其他状态可以忽略不计，因为它们不会以任何方式影响网络的行为。

2. 顺序网络

2.1 离散时间循环网