对偶传播神经网络

对偶传播神经网络（Counter-Propagation Network,CPN）能存储二进制或模拟值的模式对，因此这种网络模型也可用于联想存储、模式分类、函数逼近、统计分析和数据压缩等功能。

对偶传播神经网络的拓扑结构跟误差反向传播（BP）网络的一样，不同之处在于，CPN采用两个阶段来分别训练竞争层的内星权向量和外星权向量，即第一阶段完全不顾输出层，采用SOFM的方法来训练竞争层的内星权向量，第二阶段采用有导师的Widrow-Hoff规则（最小均方规则LMS）来训练竞争层的外星权向量。

CPN算法步骤

第一阶段采用竞争学习算法对输入层到竞争层的权向量进行训练。

1. 将内星权值随机赋予0~1上的值，归一化；对输入向量也进行归一化。
2. 根据输入向量得到获胜神经元。
3. CPN不设优胜领域，只有获胜神经元的内星权向量可以调整。获胜神经元的输出为1,其他为0.学习率是随时间下降的退火函数。
4. 如果学习率不为0则回到第1步。

第二阶段采用外星学习算法（由于竞争层的输出为1,所以Widrow-Hoff学习算法退化为外星学习算法），对竞争层到输出层的权向量进行训练。

1. 随机初始化竞争层到输出层的权向量。
2. 根据输入得到输出，又有期望输出，可以调整外星权向量：
   

   
   又因为Y_j为1,所以Widrow-Hoff学习算法退化为外星学习算法：