18、神经网络的双向联想记忆与未来发展

神经网络的双向联想记忆与未来发展

1. 双向联想记忆（BAM）

1.1 BAM 概述

双向联想记忆（BAM）由 Kosko 在 1988 年提出，可视为两层非线性反馈网络。模式在神经元层间来回传递，最终稳定到代表两个模式关联的状态。

1.2 权重矩阵

前向传递的权重用连接矩阵 M 表示，反向传递的权重是 M 的转置矩阵 (M^T)。这种使用转置矩阵的方式使 BAM 区别于其他反向传递使用不同连接矩阵的系统。

1.3 存储模式类型

• 自联想 ：若存储的两个模式 (A_i) 和 (B_i) 相同，则为自联想。
• 异联想 ：若 (B_i) 与 (A_i) 不同，则为异联想。

1.4 工作过程

在标准异联想记忆中，将 (A) 输入到 (M)，经过阈值处理产生输出 (B)。但这种方式的准确性并非总是可靠。BAM 通过将输出 (B) 再次传入系统产生新值 (A’)，使其更接近存储模式 (A_i)，再将 (A’) 前向传递得到更好的估计 (B’)，如此反复，直到在存储模式 (A_i) 和 (B_i) 之间达到稳定共振。

1.5 收敛性与学习能力

Kosko 证明了 BAM 会收敛到固定的存储模式对，Hopfield 的自联想情况是 BAM 的特殊情况（当 (B = A) 时）。此外，如果按照 Hebbian 学习规则对矩阵 (M) 进行小的改变，BAM 能够学习关联两个模式，在模式来回振荡过程中，模式信息会融入权重