2025_NIPS_Large Language Models as Model Organisms for Human Associative Learning

文章核心总结与翻译

一、主要内容

本文将大型语言模型（LLMs）视为研究人类联想学习的"模式生物"，通过适配认知神经科学的联想学习范式，探究6个开源LLM在上下文学习（ICL）过程中的表征变化规律，核心内容如下：

1. 研究背景：联想学习是人类认知的基础，但其表征变化机制（整合vs分化）存在争议，经典Hebbian学习理论、模式分离理论与非单调可塑性假说（NMPH）提出了不同预测。由于生物系统实验的控制难度与局限性，LLMs凭借可控性、可扩展性及上下文学习能力成为理想研究载体。
2. 实验设计：
   • 适配联想学习范式：通过重复呈现token对（x,y），诱导模型形成关联，测量学习前后隐藏层表征的余弦相似度变化。
   • 控制关键变量：系统调控token对的初始相似度（划分17个区间），定义"词汇干扰"指标（衡量新关联与模型先验知识的竞争程度）。
   • 模型选择：涵盖Llama2-7b、Llama3系列、Gemma2-9b、Mistral-7b等6个不同规模的开源模型。
3. 核心发现：
   • 学习三阶段：所有模型均表现出编码期（准确率快速上升）、巩固期（准确率稳定），部分模型（Llama2-7b、Mistral-7b）出现遗忘期（准确率下降）。
   • 非单调表征变化：巩固期内，中等相似度的token对显著分化，低相似度对整合，高相似度对稳定，完全契合NMPH的U型曲线预测。