12、神经网络：学习与遗忘

神经网络：学习与遗忘

1. 引言

形式神经元网络为分布式、内容可寻址、容错记忆提供了简单模型。近年来，在这方面取得了许多数值和分析结果，尤其是关于霍普菲尔德（Hopfield）模型。在该模型中，大量全连接且具有对称交互作用的神经元网络，其记忆容量与网络规模（实际上是连接性）呈线性增长。当存储模式的总数超过这个容量时，会发生灾难性的性能恶化，出现完全混乱的情况。

为避免过载，人们提出了替代方案，即新的模式可以不断学习，但会以擦除较早存储的模式为代价，这种方案被称为重写本（palimpsest）方案。数值和分析结果详细展示了这些模型的行为，它们与人类短期记忆的行为有惊人的相似之处。接下来将回顾主要结果，并指出其与人类工作记忆的可能关联。

2. 基本公式与记忆阈值

所有考虑的模型都有相同的基本要素。网络由 $N$ 个全连接的形式神经元 $S_i$（$i = 1, \cdots, N$）组成。形式神经元由类似自旋的变量 $S_i$ 表示，它可以取两个值：$S_i = +1$（神经元激发）和 $S_i = -1$（神经元静止）。突触效能可以是兴奋性（正）或抑制性（负），且假设为对称的。

因此，可以定义一个能量函数：
[E = -\frac{1}{2}\sum_{i,j} T_{ij}S_iS_j]
神经元的动态是在能量景观上的下坡运动（在数值模拟中使用蒙特卡罗算法）。记忆由这种松弛动态的吸引子集合定义。学习给定模式 $S^{\mu} = (S_i^{\mu})_{i = 1, \cdots, N}$ 是通过在突触效能中存储相关信息来实现的。网络应作为联想记忆工作：将网络设置为与存储模式 $S^{\mu}$ 相同或接近的初始状态