Towards a Common Understanding of Contributing Factors for Cross-Lingual Transfer

本文是LLM系列文章，针对《Towards a Common Understanding of Contributing Factors for Cross-Lingual Transfer in Multilingual Language Models: A Review》的翻译。

摘要

近年来，预训练的多语言语言模型(MLLM)显示出跨语言迁移知识的强大能力。然而，考虑到对这种能力的渴望并没有明确地纳入大多数MLLM的设计中，因此对其出现获得一个独特而直接的解释是具有挑战性的。在这篇综述性论文中，我们调查了影响MLLM进行零样本跨语迁移能力的不同因素的文献，并随后详细概述和讨论了这些因素。为加强本综述的架构，并便于与未来的研究整合，我们将这些因素分为五类。除了提供过去研究的经验证据总结外，我们还在具有一致发现的研究中确定共识，并解决矛盾研究中的冲突。我们的工作背景和统一现有的研究流，旨在解释MLLM的跨语言潜力。这篇综述首先为未来的研究提供了一个一致的参考点，其次，为更好地了解和更有效地利用MLLM的跨语言能力提供了指导。

1 引言

2 背景

3 影响跨语言迁移的因素

4 相关工作

5 讨论

在先前研究的基础上，我们的研究调查了影响跨语言迁移性能的各种因素。我们研究了一系列因素，包括与语言相关的因素以及与模型和训练数据相关的因素。现有的挑战之一是过去研究中存在相互矛盾的发现。为了更好地理解这些差异，我们概述了可能解释这些差异的原因，包括实验和评估方法的不同实施细节。
各种研究中的一个关键变化是合成语言和自然语言的使用。合成语言可以通过操纵特定的语言特征来创建具有可控变化水平的语言。然而，它们可能无法捕捉到自然语言中的全部复杂性，这可能会限制它们在得出适用于现实世界的结论时的有用性。