Uncovering Emergent Physics Representations Learned In-Context by Large Language Models

文章总结与翻译

一、文章主要内容

该研究聚焦大型语言模型（LLMs）的上下文学习（ICL）能力，以物理系统动力学预测任务为切入点，探究LLMs在上下文学习过程中是否能隐性学习并编码物理概念。

1. 核心任务设计：选择耦合质量弹簧系统（1D，6个自由度）和耦合摆系统（3D，18个自由度）两种物理系统，生成离散时间步长（Δt=0.1）的位置和速度轨迹数据，将其通过单数字令牌化处理后输入Qwen3模型，让模型在无额外指令的情况下预测后续32个时间步的动力学轨迹，并评估不同上下文长度（64、128、256、512、1024）对预测精度的影响。
2. 内部表征分析方法：采用稀疏自编码器（SAEs）对LLMs残差流激活进行处理，分解出稀疏激活特征。通过计算这些稀疏激活与物理系统总能量（E）、动能（KE）、势能（PE）的皮尔逊相关系数，判断模型是否编码物理能量信息；同时，对与能量高度相关的稀疏激活进行干预（设为0），观察预测误差变化，验证这些能量相关表征对预测任务的功能重要性。
3. 关键实验结果：
   • 上下文长度越长，模型对物理系统动力学的预测精度越高，耦合质量弹簧系统（简单周期运动）预测误差整体小于耦合摆系统（混沌运动）。
   • SAE提取的稀疏激活中，部分特征与能量相关量（E、KE、PE）显著相关，且相关性随上下文长度增加而增强；耦合摆系统因势能主导总能量，短上下文下动能相关特征难捕捉，长上下文下相关性显著提升。
   • 模型中层 transformer 块对能量相关