Lucky 52: How Many Languages Are Needed to Instruction Fine-Tune Large Language Models?

本文是LLM系列文章，针对《Lucky 52: How Many Languages Are Needed to Instruction Fine-Tune Large Language Models?》的翻译。

摘要

为多语言下游任务微调大型语言模型需要一组不同的语言来有效地捕捉不同语言上下文的细微差别和结构。虽然具体数量因所需的范围和目标语言而异，但我们认为，语言数量、语言暴露和包含微调语言选择的相似性是需要研究的一些重要方面。通过对1到52种语言的大型多语言模型进行微调，本文回答了一个问题：多语言任务的指令微调需要多少种语言？我们研究了随着语言数量的增加，多语言指令微调模型在多语言基准上的表现，并从语言暴露和相似性的角度讨论了我们的发现。

1 引言

2 多语言指令调整

3 实验设置

4 结果与讨论

5 相关工作

6 结论和未来工作

对大型多语言语言模型的指令微调既带来了机遇，也带来了挑战。虽然它可以实现多功能的语言处理能力，但它也需要谨慎处理，以解决与语言特定细微差别相关的问题。各种研究分析了不同环境下的多语性和跨语言迁移性，得出了不同的结论。本文对另一组设置进行了实验分析，揭示了与先前工作不同的发现，表明即使使用相同的基础模型、指令数据和训练配方，性能仍然取决于评估任务。基于先前工作和我们的研究结果，我们得出结论，多语言指令