EFFICIENT LANGUAGE ADAPTIVE PRE-TRAINING: EXTENDING STATE-OF-THE-ART LARGE LANGUAGE MODELS-优快云博客

本文是LLM系列文章，针对《EFFICIENT LANGUAGE ADAPTIVE PRE-TRAINING: EXTENDING
STATE

高效的语言自适应预训练：为波兰语扩展最先进的大型语言模型

摘要
1 引言
2 方法
3 实验
4 电力使用、成本和碳抵消
5 结论

摘要

本研究探讨了微调基础英语大语言模型（LLM）生成波兰语文本的潜力。第一步涉及在3.11GB的高质量数据集上进行语言自适应预训练（LAPT），该数据集由2.76亿个波兰语token组成。LAPT之后是额外的微调，旨在解决九个KLEJ挑战。我们训练的模型Curie-7B-v1不仅在基于解码器的波兰模型中以3.02的最低困惑度生成波兰文本，而且在9个任务中的8个任务上以小于2%的差距与最好的波兰编码器-解码器模型的性能不相上下。Curie-7B-v1使用了大约2-3%的典型数据集大小来学习波兰语。LAPT使用消费级GPU在不到五天的时间内完成，突出了该方法的效率。
该模型在波兰语中的熟练程度得到了显著提高，证明了这种方法通过仅训练1.2%的参数就可以在现有LLM中添加新语言。为了促进社区的合作进展，该模型已作为开源发布。

1 引言

2 方法

3 实验

4 电力使用、成本和碳抵消

5 结论

在本文中，我们介绍了应用于Curie-7B-v1模型的语言自适应预训练（LAPT），这是一种受临床ML研究启发的仅限解码器的架构。LAPT方法证明Curie-7B-v1模型与波兰基础模型相匹配。在八项下游任务中，它的平均得分为89.35%，而顶级模型的平均得分是90.7%。Curie-7B-v1获得了这一分数，但使用的数据明显较少，仅占数据集大小的2-3%。与仅限于预测屏蔽token的传统编码器-解码器模型相比，Curie