26、神经网络分析技术：可分析网络的设计

神经网络分析技术：可分析网络的设计

1. 引言

在神经网络领域，无监督神经网络的研究一直是一个重要的方向。本文将介绍一种无监督神经网络的统一理论模型，该模型的行为与著名的拓扑映射网络（Kohonen 1984）非常接近。传统的拓扑映射网络是通过纯算法方式进行调整，使其具有拓扑有序的神经元属性，而本文将介绍一种基于目标函数优化（如梯度上升/下降）的替代方法。

这种新方法的主要特点是使用了一种神经元模型，其中每个神经元在接收到输入向量时会离散地激发。如果假设这些激发事件是神经网络保留的关于输入向量的唯一信息，那么就可以定义一个满足两个约束条件的目标函数：一是最大化关于输入向量保留信息的合适度量；二是使网络属性尽可能接近原始拓扑映射网络的属性。在这两个约束条件下，所选目标函数的形式选择余地很小，从而可以推导出许多有趣和有用的属性。

2. 概率神经网络模型

基本的神经网络模型描述了一对神经元层（输入层和输出层）的行为。输出层中“激发”的神经元位置将通过概率进行描述。

设输入层神经元的激发率用向量 $z$ 表示，其中 $\dim z$ 等于输入层神经元的数量。输出层中激发的神经元位置用向量 $y$ 表示，假设 $y$ 位于一个 $d$ 维大小为 $m$ 的矩形晶格上（其中 $\dim m = d$），对于二维输出神经元层，$\dim m = 2$。

“下一个将激发的输出神经元是哪个？”这个问题的答案是 $Pr(y|z)$，即已知输入 $z$ 时，下一个激发的神经元可能位置 $y$ 的概率分布。更一般地，“接下来哪 $n$ 个神经元将激发？”的答案是 $Pr (y_1, y_2, \cdots, y_n | z)$，它是接下来