2025_NIPS_Multi-head Transformers Provably Learn Symbolic Multi-step Reasoning via Gradient Descent

论文核心总结与翻译

一、主要内容

本文聚焦树结构路径查找任务，从理论层面探究单层多头Transformer通过梯度下降学习符号多步推理的机制，核心围绕两类推理任务展开：

1. 反向推理任务：输出从目标节点到根节点的路径（目标→根），单注意力头即可完成。
2. 正向推理任务：需先完成反向推理，再反转路径得到根到目标的路径（根→目标），需两个注意力头协作，分别负责路径遍历和推理阶段切换控制。

通过构造Transformer架构、分析训练动态及泛化性能，证明：

• 单层Transformer可通过思维链（CoT）机制，在梯度下降训练下可靠解决两类任务。
• 多头注意力会自主分工协作，适配多阶段推理需求。
• 模型能泛化到未见过的树结构，学习的是路径查找规则而非记忆训练样本。

二、创新点

1. 理论构造突破：首次明确构造单层Transformer架构，分别适配反向（单头）和正向（双头）推理，揭示注意力头的分工机制（路径遍历+阶段控制）。
2. 训练动态分析：通过多阶段训练动态分析，证明梯度下降能使模型参数收敛到目标配置，且非渐近地解释了注意力头如何学习各自角色。
3. 泛化性证明：从理论上验证模型对 unseen 树结构的泛化能力，说明Transformer通过CoT学到