11、反向传播与自适应共振理论神经网络技术解析

反向传播与自适应共振理论神经网络技术解析

1. 反向传播网络基础

1.1 初始权重设置

反向传播网络中，初始权重设置有多种方法。一种常见方式是将所有初始权重设为相同值 (1/\sqrt{N})，其中 (N) 是输入的数量（即 (x’) 的维度）。这样所有输入向量的长度为单位长度，因为 (N(1/\sqrt{N})^2 = 1)。之后，给这些权重添加一个小的噪声波纹分量。接着，设置所有 (x_i) 满足 (x^ _i = \gamma x_i + (1 - \gamma)1/\sqrt{N})，初始时 (\gamma \ll 1)。随着网络训练，(\gamma) 逐渐增加到 1，当 (\gamma = 1) 时，(x^ _i = x_i)。

另一种方法是给输入向量添加噪声，但这种方法比前一种慢。还有一种方法是从随机归一化的权重开始，不过在最初的几个训练集中，所有权重都会被调整，而不只是“获胜神经元”的权重，因此“获胜者”的确定会延迟几次迭代。最佳方法通常是选择一组有代表性的输入向量 (x)，并将它们用作初始权重，使每个神经元由该组中的一个向量初始化。

1.2 插值模式层

Kohonen 层对于给定类别只保留“获胜神经元”，而插值模式层对于给定类别会保留一组 Kohonen 神经元。保留的神经元是输入最高的那些，且每个类别要保留的神经元数量必须预先确定。该组的输出将被归一化为单位长度，其他输出为零。

1.3 Grossberg 层训练

Grossberg 层的一个主要优点是易于训练。首先，Grossberg 层的输出计算方式与其他网络类似，即 (g_i = \sum_{j