40、联想记忆网络：原理、模型与性能分析

联想记忆网络：原理、模型与性能分析

1. OLAM 模型与投影记录

在联想记忆网络中，有一种记录技术能保证在向量集合 ${x_k : k = 1,2, \ldots, m}$ 线性独立的情况下，完美检索存储的记忆。这种学习规则很有价值，因为线性独立的要求比正交归一性更宽松。与 LAM 架构（神经元线性网络）结合使用的这种记录技术被称为最优线性联想记忆（OLAM）。

为了完美存储 $m$ 个基本关联 $(z_k, y_k)$，LAMS 互连矩阵 $W$ 必须满足矩阵方程 $Y = WX$。如果所有 $m$ 个向量 $x_k$（$X$ 的列向量）线性独立，该方程至少有一个解，这就要求 $m$ 必须小于或等于 $n$。当 $m = n$ 时，矩阵 $X$ 是方阵，方程 $Y = WX$ 中 $W$ 的唯一解可以计算为 $W^* = YX^{-1}$。这里要求矩阵逆 $X^{-1}$ 存在，当集合 ${x_k}$ 线性独立时可以保证这一点。因此，这个解能保证在呈现关联键 $x_k$ 时完美召回任何 $y_k$。

当 $m < n$ 且 $x_k$ 线性独立时，方程 $Y = WX$ 的精确解 $W^ $ 不是唯一的。在这种情况下，可以自由选择满足该方程的任何 $W^ $ 解。特别地，最小欧几里得范数解 $W^* = Y(X^TX)^{-1}X^T$ 是理想的，因为它能得到最佳容错（最优）LAM。这个方程被称为投影记录配方，因为矩阵 - 向量积 $(X^TX)^{-1}X^Tx_k$ 将第 $k$ 个存储向量 $x_k$ 转换为 $m \times m$ 单位矩阵的第 $k$ 列。如果集合 ${z_k}$ 是正交归一的，那么 $X^TX = I$，方程就简化为相