MateInfoUB: A Real-World Benchmark for Testing LLMs in Competitive, Multilingual, and Multimodal

文章主要内容和创新点

主要内容

1. 数据集介绍：提出了一个名为MateInfoUB的新型数据集，该数据集源自布加勒斯特大学面向12年级学生的年度计算机科学竞赛（同时作为该校数学与计算机科学学院的入学考试），包含100道双语（英语-罗马尼亚语）、多模态（文本+图像）选择题，并附有详细解答。
2. 数据集特点：问题设计具有特殊性，部分适合通过纸笔推理解决，另一部分更适合通过编写代码高效解决，需LLM自主选择最优方法。
3. LLM评估：基于该数据集对主流LLM（如Gemini、Llama、DeepSeek等）进行了系统评估，分析了语言选择（英语vs罗马尼亚语）、是否提供选项、推理方式（思维链vs直接答案、纯答案vs混合方法）等因素对模型表现的影响。
4. 人机对比：将LLM的表现与2021-2024年竞赛中晋级决赛的学生成绩进行对比，计算模型的百分位排名（即优于模型的学生比例）。
5. 教育应用：开发了一个开源的Web教育应用，支持罗马尼亚学生模拟竞赛、自动评分，助力自我评估和练习。
6. 伦理与未来方向：讨论了LLM在教育中应用的伦理问题（如学术诚信、评估公平性），并提出了扩展基准测试、竞赛现场评估、微调模型等未来研究方向。

创新点

1. 独特的数据集设计：首次提出双语（