Multilingual Large Language Models and Curse of Multilinguality

本文是LLM系列文章，针对《Multilingual Large Language Models and Curse of Multilinguality》的翻译。

摘要

多语言大语言模型 (LLM) 在自然语言处理 (NLP) 研究人员和实践者中广受欢迎。这些模型经过海量数据集的训练，表现出对各种语言的熟练程度，并在众多下游任务中表现出有效性。本文探讨了多语言LLM的前景，对其技术方面进行了介绍性概述。它解释了底层架构、目标函数、预训练数据源和标记化方法。这项工作探索了不同模型类型的独特功能：仅编码器（mBERT、XLMR）、仅解码器（XGLM、PALM、BLOOM、GPT-3）和编码器-解码器模型（mT5、mBART）。此外，它还解决了多语言LLM的重大局限性之一——多语言的诅咒——并讨论了当前克服这一问题的尝试。

1 引言

2 技术性

3 多语言