13、竞争学习与Kohonen自组织特征映射：原理与应用

竞争学习与Kohonen自组织特征映射：原理与应用

1. 向量长度归一化与竞争学习规则

在竞争学习中，向量长度的归一化是一个重要的概念。当平面到原点的距离近似为1时，两种相关方案可视为等效。我们可以使用一种替代定义来确定向量的“长度”，使得权重和输入的归一化满足特定条件。在这种情况下，权重向量长度的变化等于权重分量变化的总和。

根据特定的训练规则，如果输出 $y = 0$，则权重向量长度无变化；若 $y = 1$，且训练模式不变，权重向量长度变化为0，归一化能自动保持。不过，这种基于特定定义的归一化方法依赖于输入模式具有正分量。从概念上讲，若将输入视为来自前一层Sigmoid输出单元，那么输入必然为正，这在一定程度上解决了该方法的限制。

竞争学习的学习规则可以改写为两个项的和，第一项类似Hebb项，第二项是权重衰减项。因此，竞争自组织可以看作是带有衰减项以保证归一化的Hebb学习。这一特性具有生物学意义，类似于代谢资源的守恒，即突触强度总和不能超过细胞支持突触和突触后活动的物理特性所决定的特定值。

2. 字母与“单词”识别实验

Rumelhart和Zipser进行了一系列使用竞争网络进行字母和“单词”识别的实验。在实验中，他们使用由7×5像素阵列组成的字母A和B，并将其插入到7×14的更大网格的一半中。

• 第一组实验 ：输入模式为字母对AA、AB、BA、BB。当网络中只有两个单元时，每个单元学会检测特定串行位置的A或B。例如，一个单元可能对第一位是A的情况做出响应，另一个单元则对第一位是B的情况做出响应；或者两个单元分别对第二位的字母做出响应。这种情况对应了字母串的两