2025_NIPS_Transformer as a hippocampal memory consolidation model based on NMDAR-inspired nonline...

文章总结与翻译

一、主要内容

本文受海马体NMDA受体（N-甲基-D-天冬氨酸受体）非线性动力学启发，探索了Transformer模型与大脑记忆巩固机制的关联，核心内容如下：

1. 研究背景：海马体在学习、记忆和空间表征中起关键作用，NMDA受体的镁离子门控非线性动力学是突触可塑性和记忆巩固（短期记忆向长期记忆转化）的核心。近年研究发现Transformer与海马体功能存在相似性，但如何通过类NMDA受体非线性增强模型的记忆与空间表征能力尚不明确。
2. 核心方法：
   • 提出类NMDA受体激活函数(NMDA_{\alpha,\beta}(x)=\frac{x}{1+\alpha e^{-\beta x}})，模拟NMDA受体的镁离子门控特性，其中α对应镁离子浓度相关参数，β为温度常数。
   • 设计2D网格导航任务，区分两种记忆类型：工作记忆（ trial内的已访问节点预测）和参考记忆（跨trial的未访问节点预测，即长期记忆）。
   • 基于Transformer架构，对比类NMDA激活函数与ReLU、GELU等传统激活函数的性能，分析前馈网络（FFN）和自注意力层的记忆存储分工。
3. 关键发现：
   • 参考记忆和类位置细胞（空间表征关键神经元）主要存在于FFN层，而非自注意力层；类NMDA非线性可调控参考记忆形成，α值越大（模拟镁离子浓度升高），参考记忆性能越好。
   • 移除非线性（α=