Enhancing Multilingual Capabilities of Large Language Models throughSelf-Distillation from Resource

背景

近年来，大型语言模型（LLMs），如OpenAI的GPT系列和Google的BERT，已经显示出在多种自然语言处理任务中的出色能力。这些模型通常在多语言语料库上进行预训练，但在非英语任务上的性能常常不尽人意，尤其是在资源稀缺的语言上。

挑战

尽管LLMs在资源丰富的语言（如英语）上表现良好，它们在多语言应用上仍面临挑战。由于训练数据的不平衡，这些模型在资源稀缺语言上的表现往往落后。此外，仅依赖机器翻译生成的数据进行监督微调，会引入噪声并可能损害模型的性能，甚至会降低在资源丰富的语言上的表现。

方法

Self-Distillation from Resource-Rich Languages (Ours)

本文提出了一种名为SDRRL（利用资源丰富语言进行自我蒸馏）的新方法。SDRRL利用资源丰富语言的模型内在能力来增强多语言表现，具体包括两大策略：