13、自旋玻璃模型神经网络中的误差校正学习与随机复杂自动机研究

自旋玻璃模型神经网络中的误差校正学习与随机复杂自动机研究

1. 自旋玻璃型神经网络学习规则

自旋玻璃型神经网络具备内容寻址记忆的显著特性，能够从仅含部分信息的初始状态中检索出已学习模式的完整信息。以往基于赫布学习规则的网络虽能无误差存储正交模式，但在存储相关模式时能力受限。因此，提出一种新的局部学习规则，旨在使神经网络既能存储相关模式，也能存储不相关模式，同时满足自然网络的另外两个重要特性。

1.1 神经网络模型

将神经网络模拟为自旋玻璃，即由 $N$ 个相互连接的二态神经元 $S_i$ 组成的系统，$S_i = 1$ 表示激发，$S_i = -1$ 表示不活跃，$i = 1, \cdots, N$。神经元 $i$ 从其他神经元 $j$ 接收局部场 $E_i$，由 $E_i = \sum_{j=1}^{N} J_{ij}S_j$ 给出，其中 $J_{ij}$ 表征从神经元 $j$ 到神经元 $i$ 的突触效能，且排除自耦合项 $J_{ii} = 0$。模型的动力学假设为 $T = 0$ 蒙特卡罗计算中使用的顺序单自旋翻转动力学，即当 $S_iE_i < 0$ 时发生自旋翻转，在测试下一个自旋之前更新所有局部场。系统的动态稳定状态 $S = (S_1, \cdots, S_N)$ 满足 $S_iE_i = \sum_{j=1}^{N} S_iJ_{ij}S_j > 0$，对于 $i = 1, \cdots, N$，即所有自旋与它们的局部场对齐。

1.2 学习规则

学习过程从一个完全连接的随机网络开始，初始突触耦合 $J_{ij}^0$ 为独立随机变量，对称且服从均值为零、方差为 $1/N$ 的高斯分布。要将规定的模式 $S