13、大规模记忆存储与检索（LAMSTAR）网络：特性、训练与应用解析

大规模记忆存储与检索（LAMSTAR）网络：特性、训练与应用解析

1. 遗忘特性

遗忘特性通过遗忘因子 (F(k)) 引入，其公式为：
[L(k + 1) = L(k) - F(k), L(k) > 0, \forall k]
其中 (k) 表示第 (k) 个输入词，(F(k)) 是一个随时间（即随 (k)）变化的小增量。

在某些 LAMSTAR 实现中，遗忘调整设置如下：
- 在连续 (p - 1) 个输入词中，(F(k) = 0)。
- 每第 (p) 个输入词，(F(k) = bL)，其中 (L) 是任意链接权重，且 (b < 1)，例如 (b = 0.5)。

此外，在优选实现中，除了因遗忘导致的减少外，(L_{max}) 是无界的。根据遗忘公式，链接权重 (L_{i,j}) 会随时间衰减。若未成功选择，合适的 (L_{i,j}) 会趋近于零。这意味着，那些未参与成功诊断/决策或导致错误诊断/决策的相关链接会逐渐被遗忘。

遗忘特性使网络能够快速检索最近的信息。由于这些链接的值只是逐渐减小，不会立即降为零，网络可以重新检索与这些链接相关的信息。该特性有助于避免考虑大量链接，从而提高网络效率。

1.1 简单遗忘应用示例

在最简单的遗忘应用中，每 (M) 个输入词后，旧的链接权重会被遗忘（从当前值中减去）。例如，设置 (M = 20)，在输入词 (k = 100) 时，从对应权重中减去输入词 (k = 20) 时的权重（或者其 (X\%)，如 (50\%)），这样就只保留最后 80 个输入词的权重。权重更新和 (k) 的推进方式与之前相同。

1.