2025_NIPS_Interpreting Arithmetic Reasoning in Large Language Models using Game-Theoretic Interactio

一、文章主要内容总结

该研究聚焦大型语言模型（LLMs）算术推理的内部机制，提出用博弈论交互（game-theoretic interactions） 解释LLMs的算术推理过程，核心是将LLM的输出分数拆解为输入词之间的多种交互作用，通过量化前向传播中编码的不同类型交互，揭示模型解决算术问题的内在逻辑。

1. 核心研究发现

• 单操作符算术问题：LLM的求解机制在于编码操作数-运算符交互和高阶交互（含多个输入词的交互）；表现优秀的模型会强化这类交互，减少对运算符交互和背景交互的关注，而表现薄弱的模型更侧重背景交互和极低阶交互。
• 双操作符算术问题：求解机制核心是编码运算符交互和操作数交互；模型训练后期会持续关注运算符交互，并逐步增加对操作数交互的重视。
• LoRA方法的任务特异性：从交互视角解释了LoRA微调的任务特异性——用LoRA将擅长单操作符任务的模型微调至双操作符任务时，模型对单操作符任务关键的“操作数-运算符交互”和“高阶交互”关注度下降，导致其单操作符任务性能衰退。

2. 研究方法

• 定义四类交互：操作数交互、运算符交互、操作数-运算符交互、背景交互，并设计“关注度”指标量化模型对不同类型/阶数交互的侧重。
• 实