Qomhra: A Bilingual Irish-English Large Language Model

一、文章主要内容总结

本文聚焦低资源语言（爱尔兰语-英语）双语大语言模型的开发，提出并实现了名为Qomhrá的双语LLM，完整覆盖双语持续预训练（CPT）、指令微调、人类偏好对齐三大核心流程。

1. 背景与问题：爱尔兰语作为官方语言，在语言技术领域落后于其他欧洲语言，缺乏高质量标注数据和成熟双语聊天机器人模型，现有研究未完成指令微调与偏好对齐的全流程开发。
2. 核心方法：
   • 数据构建：混合新公开的爱尔兰语语料与英语文本（如维基百科、UCCIX开源数据等），避免灾难性遗忘；利用Gemini-2.5-Pro生成3万条爱尔兰语-英语平行指令微调数据集和1千条人类偏好数据集。
   • 模型训练：基于Qwen-3-8B模型进行双语持续预训练，采用LoRA进行指令微调，通过直接偏好优化（DPO）实现人类反馈对齐。
   • 评估设计：从翻译、性别理解、主题识别、世界知识等维度开展基准测试，对比6个闭源LLM的爱尔兰语生成能力，由母语者、学习者和其他LLM共同参与评估。
3. 关键结果：
   • Qomhrá在爱尔兰语任务上性能提升最高达29%，英语任务提升44%，有效保留了双语能力；
   • Gemini-2.5-Pro被评为爱尔兰语生成能力最强的模型，其生成的偏好数据与母语者判断达成近完美对齐（Cohen’s κ=0.978）；
   • 指令微调显著改善了模型的开放式生成性能，减少了冗余输出。