17、短期记忆问题研究：从神经响应到模式识别

短期记忆问题研究：从神经响应到模式识别

引言

你是否曾好奇我们为何能记住事情，又为何会如此迅速地遗忘？我们能记住是因为拥有长期记忆，而快速遗忘则是由于近期事件存储在短期记忆中，此时长期记忆尚未形成。大多数计算神经元模型并未解决短期记忆的问题，每个人工神经元都是无记忆的装置，以非线性方式将输入转化为输出。因此，除非在网络中使用神经元外部的记忆装置，否则这样的神经元网络是无记忆的。

例如，时间延迟神经网络使用移位寄存器在输入字段中保存时间序列；埃尔曼递归神经网络使用寄存器保存隐藏层节点值，以便在下一个时间步作为输入呈现，类似于状态自动机。这些装置中的寄存器构成了网络的“短期记忆”，但神经元本身仍然是无记忆的装置。长期记忆在网络训练时存储在权重中。如果这些模型借助神经元外部的记忆装置就能取得惊人的成果，那么当我们在神经元层面实现短期记忆特性时，有望获得更出色的表现。具体而言，我们希望构建一个无需移位寄存器帮助，就能自行识别时空模式的神经模型。

那么，我们该从何处入手呢？像麦卡洛克 - 皮茨神经元这样过于简单的模型根本没有记忆；而基于复杂生理学的神经模型又难以分离出我们所需的关键特征：非线性计算和短期记忆。因此，我们寻找其他替代模型，且这些模型不一定需要受神经生物学的启发。我们不禁思考：地球上有哪些简单的事物具有记忆呢？答案立刻浮现：磁铁。

磁性材料在暴露于强磁场后会保留残余磁场。在振荡磁场下，磁性材料会呈现磁滞现象，即一种滞后于感应磁场的非线性响应，在示波器上形成环形轨迹。磁滞回线看起来就像两个偏移的S形曲线。那么，如果神经元具有短期记忆，它是否应该产生类似磁滞的响应，而非S形响应呢？

为了验证我们的猜测，我们重新开始进行自己的神经响应测量，小心保存表明