27、神经网络在模式识别中的设计与应用解析

神经网络在模式识别中的设计与应用解析

1. 地形映射模型：单集群近似

在向量量化器的基础上进行推广，使得激发的神经元不必都为同一个。在公式（B5.3.2）中关于 $D$ 的表达式里，假设激发的神经元位于单个集群且独立激发，那么 $Pr(y_1,y_2,\cdots,y_n|z)$ 可表示为 $Pr(y_1,y_2,\cdots,y_n|z)=Pr(y_1|y(z))Pr(y_2|y(z))\cdots Pr(y_n|y(z))$，其中集群的“形状”由 $Pr(y|y(z))$ 建模。根据（B5.3.3）中 $D_1$ 和 $D_2$ 的结果，可以得到 $D$ 的一个上界（B5.3.8）。

当 $n = 1$ 时，该不等式变为等式，（B5.3.8）右边第二项消失。（B5.3.8）的第一项是 $1/n$ 乘以仅观察到一个神经元激发事件时出现的平均欧几里得误差；第二项是 $2(n - 1)/n$ 乘以尝试从参考向量的加权平均 $Pr(y|y(z))z’(y)$ 重建输入向量时出现的平均欧几里得误差，当 $n >> 1$ 时，该项起主导作用。

可以用径向基函数网络来解释（B5.3.8）的第二项。$Pr(y|y(z))$ 是一组连接输入层和隐藏层的非线性函数，$z’(y)$ 是连接第 $y$ 个隐藏神经元和输出层的权重集，$z - \sum_{y} Pr(y|y(z))z’(y)$ 是输入层和输出层之间的误差向量。这种非线性输入到隐藏层的变换加上线性隐藏层到输出层的变换与径向基函数网络的使用方式相同，只是这里非线性基函数之和为 1，并且误差是在输入和输出之间测量，而不是在目标和输出之间测量。

1.1 $n = 1$ 情况的优化