A Survey on Multilingual Large Language Models: Corpora, Alignment, and Bias

本文是LLM系列文章，针对《A Survey on Multilingual Large Language Models: Corpora, Alignment, and Bias》的翻译。

摘要

在大型语言模型（LLMs）的基础上，开发了多语言大型语言模型，以应对多语言自然语言处理任务的挑战，希望实现从高资源语言到低资源语言的知识迁移。然而，仍然存在重大的局限性和挑战，如语言不平衡、多语言对齐和固有偏见。本文旨在对MLLM进行全面分析，深入探讨围绕这些关键问题的讨论。首先，我们首先对MLLM进行概述，涵盖其演变、关键技术和多语言能力。其次，我们探索了用于MLLM训练的广泛使用的多语言语料库和面向下游任务的多语言数据集，这些任务对于提高MLLM的跨语言能力至关重要。第三，我们调查了现有的多语言表征研究，并研究了当前的MLLM是否可以学习通用的语言表征。第四，我们讨论了MLLM的偏见，包括其类别和评估指标，并总结了现有的去偏见技术。最后，我们讨论了存在的挑战，并指出了有前景的研究方向。通过展示这些方面，本文旨在促进对MLLM及其在各个领域的潜力的更深入理解。

1 引言

2 MLLMS概述

3 多语言语料库和数据集

4 多语言表示对齐

5 对多语言语言模型的偏见

6 未来方向

这项调查对多语言大型语言模型的演变进行了全面、系统的概述。MLLM仍处于发展阶段，因此未来的研究仍面临一些挑战，我们总结如下：

• 低资源语言性能。MLLM在高资源语言的下游任务中优于单语LLM，但在低资源语