Large Language Models are Parallel Multilingual Learners

本文是LLM系列文章，针对《Large Language Models are Parallel Multilingual Learners》的翻译。

摘要

在这项研究中，我们揭示了多语言大型语言模型（LLM）的上下文学习（ICL）能力：通过将输入翻译成几种语言，我们为LLM提供多语言并行输入（PIM），这显著提高了它们的理解能力。为了测试这一能力，我们设计了广泛的实验，包括8个典型的数据集、7种语言和8个最先进的多语言LLM。实验结果表明：（1）加入更多的语言有助于PIM进一步超越传统的ICL；（2） 即使与不如基线性能的翻译相结合也会有所帮助。此外，通过检查LLM中被激活的神经元，我们发现了一个违反直觉但有趣的现象。与人们普遍认为PIM会比单语输入激活更多的神经元来利用从不同语言中学习的知识相反，PIM实际上会抑制神经元，并促进更精确的神经元激活，尤其是当添加更多语言时。这一现象与神经科学对突触修剪的见解一致，突触修剪去除了较少使用的神经连接，增强了剩余的神经元，然后提高了大脑的智力。

1 引言

2 多语言并行输入

3 PIM可以帮助：从神经元激活的角度来看

4 PIM的广泛应用

5 相关工作

6 结论

我们揭示了多语言LLM受益于并行多语言输入。首先，在8个典型数据集、8个SoTA多语言LLM和7种语言上进行的综合