21、竞争学习的示例与应用及自适应共振理论解析

竞争学习的示例与应用及自适应共振理论解析

1. 竞争学习的基础要点

在竞争学习中，对于增量更新的稳定性和收敛定理，只有在模式足够稀疏的情况下才能得到证明。这里的稀疏模式是指能找到一组聚类，使得聚类内的最小重叠超过该聚类与其他聚类间的最大重叠。

在实际应用中，为了证明定理（如使用随机逼近方法）和对真实数据进行分类，在学习过程中降低学习率是很有帮助的。通常初始时使用较大的学习率可以鼓励广泛探索，后期使用较小的学习率则能抑制胜者的进一步变化，并对权重进行细化。常见的学习率调整方式有 $\eta(t) = \eta_0t^{-\alpha}$（其中 $\alpha < 1$）或 $\eta(t) = \eta_0(1 - e^{-\alpha t})$。

也可以从成本函数出发推导出学习规则。例如，Bachmann 等人在 1987 年提出用不同的幂律替代原有的二次形式。他们还让获胜的权重向量除了受自身聚类中的输入向量吸引外，还会受到其他聚类中输入向量的排斥。当 $p = N - 2$ 时，在 $N$ 维输入空间中权重向量的运动类似于静电点电荷的运动，这种模型被称为库仑能量网络。

2. 竞争学习的应用

2.1 图二分问题

图二分问题是将给定的图分成两个相等的部分，且两部分之间的连接尽可能少。对于图中的每个顶点，使用一个二进制的 0/1 输入，同时设置两个输出单元来分别表示两个分区。

为了构建解决该问题的网络，我们可以用偶极子刺激来表示图的每条边，即边的两个顶点同时开启。将这些模式作为输入数据，网络会尝试将它们大致分成两个相等的部分，且重叠最小。

例如，在 Rumelhart 和