
AMÁLIA 与欧洲葡萄牙语大语言模型的未来
2026 年 4 月 24 日消息,2024 年 12 月,葡萄牙政府宣布启动 AMÁLIA 项目,投资 550 万欧元开发适用于欧洲葡萄牙语的大规模大语言模型。
前几天,整理不同葡萄牙语自然语言处理(NLP)项目概述时,偶然发现该项目的技术报告,有太多值得探讨之处。不过在开始前要声明,AMÁLIA 是令人印象深刻的工作,研究人员应为此自豪,但考虑到政府投入巨额资金,整个国家是受益者,提出尖锐问题也合理。若参与项目的人正在阅读,感谢付出。
AMÁLIA 项目概述
AMÁLIA 是“一个完全开源的欧洲葡萄牙语大语言模型(LLM)”,目标是打造将欧洲葡萄牙语视为一等公民的大语言模型,类似意大利的 Minerva 项目。它是葡萄牙几所顶尖大学和研究实验室合作的成果。
与预期不同,AMÁLIA 并非从头训练,而是在 EuroLLM 预训练阶段基础上继续训练。其架构与 EuroLLM 相同,只是在上下文长度和旋转位置编码(RoPE)缩放方面有小调整。
AMÁLIA 聚焦葡萄牙语靠的是数据。每个训练阶段,研究团队都增加模型训练所用欧洲葡萄牙语数据的比例。预训练阶段用了 Arquivo.pt 的数据;监督微调(SFT)阶段,合成生成葡萄牙语数据;偏好训练阶段,从监督微调阶段的数据中进行子采样。
训练有趣,评估训练效果更有趣,这在特定案例中可能尤其具有挑战性。研究团队为欧洲葡萄牙语创建了四个新的基准测试,最突出的是 ALBA。
真的是完全开源吗?
完全开源模型的标准范例是 Olmo,它开放性极高,模型权重、数据、代码和训练日志都开放可获取。
撰写本文时,AMÁLIA 几乎没什么是开放的,找不到模型权重、数据、训练日志或新的基准测试。Arquivo.pt 的处理脚本是开放的,但生成的数据集不见踪影。在“开放权重”众多但“完全开源”大语言模型很少的时代,快速公开这些内容比以往更重要。
也许这只是时间问题,也许有未知原因导致无法获取模型权重,也许这是正在进行的研究项目。但即使明天发布模型权重,也不确定是否完全认同这种做法。
葡萄牙语模型使用了多少葡萄牙语数据?
训练这个模型实际使用了多少葡萄牙语数据呢?根据报告,扩展预训练阶段总共使用 1070 亿个词元,其中明确来自欧洲葡萄牙语的数据只有 Arquivo.pt 的 58 亿个词元,约占 5.5%,比例不高。
EuroLLM 的数据混合中肯定有葡萄牙语数据,但不知道具体有多少,以及是否是欧洲葡萄牙语。
监督微调阶段,葡萄牙语数据比例约为 17 - 18%,但这足够吗?不清楚模型中欧洲葡萄牙语数据的总量,很想了解。
令人印象深刻的是,在大多数葡萄牙语基准测试中,AMÁLIA 击败了像 Qwen 3 - 8B 这样的最先进模型,但在 ALBA 测试中,Qwen 3 - 8B 胜过 AMÁLIA,这是为什么呢?不太可能是因为 Qwen 3 - 8B 进行了针对葡萄牙语的特定训练。这让人思考:更多的葡萄牙语预训练数据能让我们获得多大的收益呢?只能进行推测,我们是否在优化正确的方向呢?
我们应该优化什么?
AMÁLIA 团队为欧洲葡萄牙语创建了四个新的基准测试,涵盖很多方面,重点关注语法、句法、常识,以及是否对巴西葡萄牙语存在显著偏差。
但团队忽略了一个维度:是否真的在衡量模型对葡萄牙的了解程度?这是展示小型模型优势的绝佳机会,尽管模型规模小,但对葡萄牙有更深入的内在了解,即使与类似(甚至更大)的模型相比也是如此。现有的基准测试都没涵盖这个维度,葡萄牙语考试有一定帮助,但不能完全解决问题。比如“阿威罗最著名的甜点是什么?”“1978 年至 1985 年间葡萄牙的总统是谁?”
解决这个问题的最佳时机是预训练阶段,这需要更多的葡萄牙语数据,团队也承认了这一点。
总结
写这篇文章时有些犹豫,不喜欢批评别人的工作,尤其是在互联网上。很高兴葡萄牙在这个项目上进行了投资,有一支非常有才华的团队,他们值得肯定。
为一个如此“小”的国家和语言开发大语言模型极具挑战性。虽然数据有限,但确实存在,只需要发挥创造力去挖掘。
这是朝着一个令人兴奋的方向迈出的良好第一步。欧洲葡萄牙语大语言模型的未来一片光明!只需要保持思维、模型权重、数据和评估的开放性。
注:在本文中,当提到“葡萄牙语”时,指的是欧洲葡萄牙语,这样表述更简洁,请理解。另外,不确定为什么在比较中纳入了 Olmo 2 - 7B 而不是 Olmo 3 - 7B ?
455



被折叠的 条评论
为什么被折叠?



