2025_NIPS_Large language models transition from integrating across position-yoked, exponential wi...

一、文章主要内容总结

本文聚焦大型语言模型（LLMs）的时间整合机制，通过创新方法探究其整合窗口的特性及层间变化规律，核心内容如下：

1. 研究背景：自然语言具有多尺度层级结构，智能系统需灵活整合不同时间尺度信息以理解语义；人类大脑对语言的响应存在结构化“整合窗口”，但LLMs的整合窗口特性此前缺乏系统研究。
2. 核心方法：提出一种不依赖模型梯度或架构细节（如注意力权重）的“词交换法”（word-swap procedure），可从黑箱语言模型中估算整合窗口；同时设计量化指标，衡量整合窗口与语言结构边界（如句界）的关联程度。
3. 关键发现：
   • LLM的整合窗口可通过指数函数与幂律函数的凸组合良好拟合，且层间存在显著变化：早期层以“位置关联型”（position-yoked）指数窗口为主，后期层逐渐向“结构关联型”（structure-yoked）幂律窗口过渡，整合时间尺度大幅延长。
   • 该特性在GPT-2、LLaMA、roBERTa三种不同架构LLM中均存在，且不受结构长度（8词/36词句子）、结构类型（句子/名词短语）及自然语境影响。
   • 未训练模型无上述结构化整合窗口，仅呈现均匀整合，证明该特性是模型从自然语言结构中习得的。
4. 研究意义：搭建了人工智能与神经科学交叉研究的桥梁，为理解LLM语义整合机制、优化模型训练及探索人类大脑语言整合规律提供了新工具与理论支撑。