Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean

本文是LLM系列文章，针对《Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean》的翻译。

摘要

大型语言模型（LLM）使用预训练来预测后续单词；然而，它们的扩展需要大量的计算资源。许多大型科技公司和研究机构已经开发了多语言LLM（MLLM）来满足当前的需求，而忽略了资源较少的语言（LRL）。本研究基于公开的MLLM提出了三种提高LRL性能的策略。首先，扩展了LRL的MLLM词汇以增强表达能力。其次，使用双语数据进行预训练，以调整资源丰富和资源较少的语言。第三，构建了一个高质量的小规模指令数据集，并进行了指令调整以增强LRL。实验采用了Llama2模型，并使用Korean作为LRL，在八个任务中与其他开发的LLM进行了定量评估。此外，基于人类评估和GPT4进行了定性评估。实验结果表明，与先前提出的韩语单语模型相比，我们提出的Bllossom模型在定性分析中表现出优越的性能。

1 引言

2 相关工作

3 丰富MLLM词汇

4 LIMA上的指令调整

5 定量评估

6 定性评估

7 结论

本研究提出了三种提高LRL MLLM能力的方法