How do Large Language Models Handle Multilingualism?

本文是LLM系列文章，针对《How do Large Language Models Handle Multilingualism?》的翻译。

摘要

大型语言模型（LLM）在一系列语言中表现出非凡的性能。在这项工作中，我们深入研究了一个问题：LLM如何处理多种语言？我们介绍了一个描述LLM处理多语言输入的框架：在前几层，LLM理解问题，将多语言输入转换为英语，以促进任务解决阶段。在中间层，LLM通过用英语思考和结合多语言知识来获得事实内容，分别利用自注意力和前馈结构来解决问题。在最后几层中，LLM生成与查询的原始语言一致的响应。此外，我们还研究了在处理某种语言时特定语言神经元的存在。为了检测被输入语言激活的神经元，即使没有标签，我们创新性地设计了一种特定于并行语言的神经元检测（PLND）方法，该方法可以有效地测量神经元在处理多语言输入时的重要性。通过对不同层和结构的神经元进行去激活的综合消融分析，我们验证了我们提出的框架。此外，我们还证明，我们可以利用这样一个框架，以大大减少训练工作量，有效地提高多语言能力。

1 引言

2 并行语言特异性神经元检测（PLND）