8、反向传播与自适应共振理论：神经网络的深入解析

反向传播与自适应共振理论：神经网络的深入解析

1. 反向传播神经网络概述

反向传播（Counter Propagation）神经网络由Hecht - Nielsen于1987年提出，其速度约比传统的反向传播快100倍，但应用范围相对较窄。它结合了Kohonen的自组织（Instar）网络和Grossberg的Oustar网络，各有一层。该网络具有良好的泛化能力，能很好地处理部分不完整或部分错误的输入向量，可作为快速聚类网络。其结构是一个（隐藏）K层后接一个输出G层，且Kohonen层和Grossberg层的神经元数量不必相等。

1.1 Kohonen自组织映射（SOM）层

Kohonen层是一个“胜者通吃”（WTA）层，对于给定的输入向量，只有一个Kohonen层输出为1，其余为0，无需训练向量即可实现此性能，因此被称为自组织映射层（SOM - Layer）。

设Kohonen层神经元的净输出为$k_j$，则：
$k_j = \sum_{i = 1}^{m} w_{ij}x_i = w_{i}^{T} x$
其中，$w_j \triangleq [w_{1j} \cdots w_{mj}]^{T}$，$x \triangleq [x_1 \cdots x_m]^{T}$。

对于第$h$个（$j = h$）神经元，当$k_h > k_{j\neq h}$时，设置$w_j$使得：
$k_h = \sum_{i = 1}^{m} w_{ih}x_i = 1 = w_{h}^{T} x$
并且，可能通过侧向抑制使$k_{j\neq h} = 0$。

1.2 Grossberg层