EFFICIENT LANGUAGE ADAPTIVE PRE-TRAINING: EXTENDING STATE-OF-THE-ART LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《EFFICIENT LANGUAGE ADAPTIVE PRE-TRAINING: EXTENDING
STATE

摘要

本研究探讨了微调基础英语大语言模型（LLM）生成波兰语文本的潜力。第一步涉及在3.11GB的高质量数据集上进行语言自适应预训练（LAPT），该数据集由2.76亿个波兰语token组成。LAPT之后是额外的微调，旨在解决九个KLEJ挑战。我们训练的模型Curie-7B-v1不仅在基于解码器的波兰模型中以3.02的最低困惑度生成波兰文本，而且在9个任务中的8个任务上以小于2%的差距与最好的波兰编码器-解码器模型的性能不相上下。Curie-7B-v1使用了大约2-3%的典型数据集大小来学习波兰语。LAPT使用消费级GPU在不到五天的时间内完成，突出了该方法的效率。
该模型在波兰语中的熟练程度得到了显著提高，证明了这种方法通过仅训练1.2%的参数就可以在现有LLM中添加新语言。为了促进社区的合作进展，该模型已作为开源发布。

1 引言

2 方法

3 实验

4 电力使用、成本和碳抵消

5 结论

在本文中，我们介绍了应用于Curie-7B-v1模型的语言自适应预训练࿰