2025_NIPS_Exploring the Translation Mechanism of Large Language Models

文章核心总结与创新点

主要内容

文章聚焦大语言模型（LLMs）的翻译机制，通过系统框架探究其内部核心组件作用：提出子空间干预路径修补法（subspace-intervened path patching），识别出仅占不足5%的稀疏关键组件（注意力头和MLP层）；关键注意力头分为源语言头、指示符头、位置头三类，分别提取对应特征，MLP层则将这些特征整合为以英语为中心的中间表征，最终生成译文；针对这些关键组件的靶向微调（仅需微调64个注意力头），在提升翻译性能的同时保留模型通用能力，且训练效率大幅提升。

创新点

1. 提出子空间干预路径修补法，实现更精准的细粒度因果分析，解决传统路径修补中激活向量多义性导致的干扰问题。
2. 首次系统揭示解码器-only LLMs的翻译机制，明确关键组件的功能分工（三类注意力头）与英语作为中间表征的核心作用。
3. 提出靶向微调策略，仅微调不足5%的参数即可达到全参数微调的翻译性能，兼顾效率与通用能力保留。

---

译文（Markdown格式）

Abstract

尽管大语言模型（LLMs）在多语言翻译中取得了显著成功，但即使在基础的单词层面，其内部核心翻译机制仍未被充分理解。为填补这一关键空白，本研究从计算组件视角出发，提出了一个系统框架来解读LLM翻译背后的机制。本文首先提出子空间干预路径修补法（subs