Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models

本文是LLM系列文章，针对《Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models》的翻译。

摘要

大型语言模型（LLM）在没有经过专门策划的多语言并行语料库的预训练的情况下，展示了非凡的多语言能力。解释LLM处理多语言文本的基本机制仍然是一个具有挑战性的问题。在本文中，我们深入研究LLM中Transformer架构的组成，以确定特定于语言的区域。特别地，我们提出了一种新的检测方法，即语言激活概率熵（LAPE），来识别LLM中的语言特定神经元。基于LAPE，我们对两种具有代表性的LLM，即LLaMA-2和BLOOM进行了综合实验。我们的研究结果表明，LLM在处理特定语言方面的熟练程度主要是由于一小部分神经元，主要位于模型的顶层和底层。此外，我们展示了通过选择性激活或去激活语言特异性神经元来“引导”LLM的输出语言的可行性。我们的研究为理解和探索LLM的多语言能力提供了重要证据。

1 引言

2 识别特定语言区域

3 实验

4 相关工作

5 结论

尽管LLM展示了令人印象深刻的多语言能力，但对这些能力如何发展和发挥作用的理解仍处于萌芽阶段。在本文中，我们引入了一种新的检测方法，即语言激活概率熵（LAPE），以精确定位LLM中的语言特异性神经元。LAPE评估单个神经元对各种语言的反应，选择那些在接触一种或两种语言时有激活倾向的神经元。基于LAPE，我们进一步进行了广泛的实验来研究LLM的多语言能力。特别地，我们发现LLM处理不同语言的熟练程度受到一小部分神经元的显著影响，这些神经元主要位于模型的顶层和底层。我们