Open Generative Large Language Models for Galician

本文是LLM系列文章，针对《Open Generative Large Language Models for Galician》的翻译。

摘要

大型语言模型 （LLM） 改变了自然语言处理。然而，他们主要以英语为中心的训练导致了不同语言的偏见和表现差异。这种不平衡使少数民族语言被边缘化，使得资源较少的语言（如加利西亚语）更难公平获得 NLP 技术。我们提出了前两个专注于加利西亚语的生成式 LLM 来弥合这一差距。这些模型作为开源资源免费提供，使用 GPT 架构进行训练，在 2.1B 单词的语料库上具有 1.3B 参数。利用持续的预训练，我们适应了在更大的语料库上训练的两个现有 LLM，从而减轻了从头开始进行训练时出现的数据限制。使用人工判断和来自标准化基准的基于任务的数据集对模型进行评估。这些评估揭示了有希望的表现，强调了语言多样性在生成模型中的重要性。

1 引言

2 相关工作： 伊比利亚语的 LLM

3 方法

4 实验

5 评估

6 结论

根据进行的定性评估，我们可以得出结论，我们的 LLM 能够生成高质量和语义连贯的加利西亚语文本。然而，我们观察到，通过基于特定指令任务的小样本学习进行自动评估可能不适用于具有大约 10 亿个参数的架构模型，这些参数尚未为这些任务提供指令。
此外，我们的研究结果表明，基于单语英语模型 （Cerebras-GPT-1.3B） 的 Carballo-cerebras-1.3B 在生成的文本的形式质量方面优于基于多语言模型 （Bloom1b7）