EFFICIENT LANGUAGE ADAPTIVE PRE-TRAINING: EXTENDING STATE-OF-THE-ART LARGE LANGUAGE MODELS

最新推荐文章于 2025-11-24 18:29:32 发布

UnknownBody

最新推荐文章于 2025-11-24 18:29:32 发布

阅读量104

点赞数

CC 4.0 BY-SA版权

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137949914

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文研究了微调基础英语大语言模型（LLM）生成波兰语文本的能力。通过语言自适应预训练（LAPT）和额外微调，训练出的Curie-7B-v1模型在生成波兰语和多项任务上的表现接近最佳波兰编码器-解码器模型。LAPT方法高效且成本效益高，仅用1.2%的参数量就能在LLM中添加新语言。该模型已开源，为波兰语的自然语言处理提供新资源。

本文是LLM系列文章，针对《EFFICIENT LANGUAGE ADAPTIVE PRE-TRAINING: EXTENDING
STATE

摘要

本研究探讨了微调基础英语大语言模型（LLM）生成波兰语文本的潜力。第一步涉及在3.11GB的高质量数据集上进行语言自适应预训练（LAPT），该数据集由2.76亿个波兰语token组成。LAPT之后是额外的微调，旨在解决九个KLEJ挑战。我们训练的模型Curie-7B-v1不仅在基于解码器的波兰模型中以3.02的最低困惑度生成波兰文本，而且在9个任务中的8个任务上以小于2%的差距与最好的波兰编码器-解码器模型的性能不相上下。Curie-7B-v1使用了大约2-3%的典型数据集大小来学习波兰语。LAPT使用消费级GPU在不到五天的时间内完成，突出了该方法的效率。
该模型在波兰语中的熟练程度得到了显著提高，证明了这种方法通过仅训练1.2%的参数就可以在现有LLM中添加新语言。为了促进社区的合作进展，该模型已作为开源发布。

1 引言

2 方法

3 实验

4 电力使用、成本和碳抵消

5 结论

在本文中，我们介绍了应用于Curie-7B-v1模型的语言自适应预训练（LAPT），这是一种受临床ML研究启发的仅限解码器的架构。LAPT方法证明Curie-7B-v1模型与波兰基础模型相匹配。在八项下游任务中，它的平均得分为89.35%，而顶级模型的平均得分是90.7%。Curie-7B-v1获得了这一分数，但使用的数据明显较少，仅占数据集大小的2-3%。与仅限于预测屏蔽token的传统编码器-解码器模型相比，Curie

了解本专栏