UrBLiMP: A Benchmark for Evaluating the Linguistic Competence of Large Language Models in Urdu

文章主要内容总结

本文介绍了UrBLiMP（Urdu Benchmark of Linguistic Minimal Pairs），这是一个用于评估大型语言模型（LLMs）在乌尔都语中句法能力的基准数据集。该数据集包含5,696个最小对句（minimal pairs），针对乌尔都语10个核心句法现象（如体标记一致、与格宾语、作格性、主谓一致等），通过乌尔都语树库和原始语料库结合人工验证构建，标注者间一致性达96.10%，确保了数据可靠性。

研究团队使用UrBLiMP评估了20个多语言LLM，发现模型性能在不同句法现象上差异显著：LLaMA-3-70B平均准确率最高（94.73%），但与Gemma-3-27B-PT等顶级模型在统计上无显著差异。此外，研究还揭示了模型在长距离一致、形态丰富结构上的不足，以及模型大小、预训练与指令微调对性能的影响，强调了低资源语言（如乌尔都语）在细粒度句法知识建模上的挑战。

创新点

1. 填补低资源语言评估空白：首次为乌尔都语构建了细粒度的句法评估基准，解决了现有资源在覆盖范围和颗粒度上的不足。
2. 混合构建方法：结合乌尔都语树库的模板和原始语料库的表面模式匹配生成最小对句，辅以人工验证，确保数据的语言学合理性。
3. 系统评估多语言模型：对20个主流多语言LLM进行全面评估，揭示了它们在乌尔都语句法现象上的表现差异，为低资源语言模型的优化提供了依据。

翻译部分