MizanQA: Benchmarking Large Language Models on Moroccan Legal Question Answering

MizanQA相关总结与翻译

一、文章主要内容

1. 研究背景：大型语言模型（LLMs）在自然语言处理领域进展显著，但在阿拉伯语法律等专业、低资源领域效果有限。摩洛哥法律语言复杂，以现代标准阿拉伯语书写，融入地方法律用语、文化参考，还受伊斯兰马利基法学、摩洛哥习惯法及法国和国际法影响，给自然语言处理模型理解带来挑战。
2. MizanQA基准介绍：
   • 数据构成：包含超过1700个多项选择题（含多答案形式），题目涵盖摩洛哥法律多个领域，如民事诉讼法、刑法、家庭法等14个类别，每个问题的选项数量2-12个不等，正确选项数量1-10个不等，问题和选项的单词数量也各有差异。
   • 构建流程：经历数据收集（从公开摩洛哥法律多项选择题库和考试中提取）、时间筛选（法律专家剔除过时法律文档）、组织（将题目分组为图像批次，结构化文档自动处理，非结构化文档手动处理）、提取（利用多模态LLM如Gemini-2.0-flash提取为标准化格式）、验证（人工验证提取内容准确性）、分类（按涉及法律类别手动分类并规范化）六个阶段。
3. 基准测试研究：
   • 评估模型：选取了Allam-2（7b）、Gemini-1.5-flash、Gemini-2.0-flash、Llama-3.3（70b）、Llama-4-maverick（17b）、Llama-4-