16、神经形态系统中的记忆保留与优化策略

神经形态系统中的记忆保留与优化策略

1. 记忆维护问题的直观理解

早期，像感知机和霍普菲尔德网络这样高度简化的神经网络，曾让理论神经科学家认为记忆问题已得到解决。然而，在尝试将这些模型应用于神经形态硬件时，人们发现了严重的记忆存储问题。以往的建模工作中，允许突触强度在无限范围内变化，这对记忆容量有着巨大影响。具有现实边界的突触网络，其记忆容量会大幅降低，因为旧记忆会被新记忆快速覆盖。

为了直观说明这一点，我们考虑一个连续接收经验流的神经网络，将这些经验存储在突触权重中。以一个普通突触为例，追踪特定经验 A 的记忆。
- 无界突触情况 ：突触从初始状态（设为零）开始，每次经历不同经验时都会发生改变。例如，经验 A 会增强其效能。假设存在一种有效机制，能保留突触强度值，直到新事件改变它。通过虚拟实验，即修改过去的经验 A 为 A’，若突触修改线性叠加，那么代表突触权重随时间变化的轨迹（灰色）与原轨迹平行。最终值会不同，且与经验 A 引起的突触修改相关，这表明原则上我们仍保留着经验 A 的记忆。
- 有界突触情况 ：当突触有上限时，经验 B 使突触达到饱和值。此后，即使经验 C 试图再次增强突触，它也只能停留在最大值。此时再修改经验 A 为 A’，最初两条轨迹不同，但经过经验 C 时，突触触及上限，两条轨迹变得相同，最终值也一样。这意味着经验 A 已被遗忘。这个简单例子表明，当描述突触动态的变量被限制在有限范围内时，旧记忆自然会被遗忘。

2. 记忆维护问题的定量分析

当突触权重被限制在有限范围内时，记忆会自然遗忘。我们可以估算双稳态突触群体中典型的记忆寿命。对于双稳态