58、无监督复合网络：反向传播网络与自适应评判网络解析

无监督复合网络：反向传播网络与自适应评判网络解析

1. 引言

在神经网络领域，结合监督和无监督技术的混合网络备受关注。这种结合能对中间映射的评估进行一定控制，使输入到中间和中间到输出的映射通过不同方法协同发展。下面将详细介绍反向传播网络和自适应评判网络这两种典型的结合范式。

2. 反向传播网络

2.1 概述

反向传播网络由Robert Hecht - Nielsen在1986年提出，旨在利用Kohonen自组织映射进行函数逼近，可看作统计上最优的自适应查找表，属于通用函数逼近器，适用于连续映射（至少分段连续）。其工作原理是：隐藏层通过无监督聚类方法将输入空间划分为多个区域，输出层基于监督技术学习每个区域对应的输出值的平均值，该平均值成为该区域内所有输入的指定输出。

2.2 拓扑结构

反向传播网络有两个功能层：
- 隐藏层 ：典型的Kohonen层，每个神经元作为特定输入簇的接收器，接收整个输入向量。神经元之间虽无物理连接，但存在竞争，通过广播计算值来竞争，获胜神经元保持激活，其他神经元输出置为0。
- 输出层 ：由m个神经元组成，m为输出空间的维度。该层为中间层划分的每个区域生成输出向量，输出值为该区域内训练样本输出的平均值。输出层神经元只需知道输入向量所属区域，该信息由隐藏层的受体神经元提供，因此隐藏层到输出层有前馈连接，输出层神经元之间无侧向连接。

网络拓扑总结如下：
|连接关系|连接情况|
| ---- | ---- |
|输入线与隐藏层神经元|全连接|