The Curious Case of Analogies: Investigating Analogical Reasoning in Large Language Models

文章核心总结与创新点

主要内容

本文聚焦大型语言模型（LLMs）的类比推理能力，通过比例类比（如“A之于B正如C之于D”）和故事类比（语义不同但结构相似的叙事）两类任务，深入探究模型类比推理的内部机制。研究核心围绕三个关键问题展开：模型如何编码实体间的关系信息、如何将关系信息应用于新场景、以及如何实现不同场景间的结构对齐。

通过注意力阻断、线性探测、激活修补等机制可解释性方法，研究发现：

1. 信息编码规律：LLMs在中上层网络中有效编码实体的属性信息和关系信息，正确推理案例中两类信息持续传递，而推理失败多源于关系信息缺失；
2. 应用瓶颈：与人类不同，LLMs不仅在关系提取中存在困难，在将提取的关系应用于新实体时更易受阻，通过在关键token位置修补隐藏表示可部分缓解该问题；
3. 结构对齐特征：成功的类比推理依赖源场景与目标场景间的强结构对齐（通过互对齐分数MAS量化），而失败案例常表现为对齐质量下降或被表面相似的干扰项误导。

创新点

1. 机制性拆解分析：首次系统拆解LLMs类比推理的“关系提取-关系应用-结构对齐”全流程，明确中上层网络在关系编码中的核心作用，揭示“应用环节”是比“提取环节”更关键的瓶颈；
2. 干预性验证方法：提出通过替换实体对、修补关键位置隐藏表示的干预实验，量化验证关系信息传递的关键节点（如“as”这类链接