ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generatio...

一、文章主要内容总结

ChiKhaPo 是一个大规模多语言基准测试集，聚焦大型语言模型（LLMs）的词汇理解与生成能力，填补了现有基准在低资源语言覆盖和基础词汇能力评估上的空白。该基准包含 8 个子任务（4 类核心任务，每类含理解和生成两个方向），利用词典、单语数据和双语平行语料构建，对 2700 余种语言提供支持，远超现有同类基准。通过对 6 个主流多语言 LLMs 的测试发现，模型在低资源语言上表现不佳，且理解能力（X→模型）普遍优于生成能力（模型→X）；印欧语系语言表现最佳，语言资源丰富度是影响性能的关键因素。此外，该基准的词汇翻译任务与句子级机器翻译性能高度相关，可作为低资源语言翻译评估的低成本替代方案。

二、核心创新点

1. 超广语言覆盖：支持 2700 余种语言，远超现有多语言基准（如 FLORES+ 仅覆盖 212 种），首次实现大规模低资源语言的词汇能力评估。
2. 聚焦基础词汇能力：不同于现有基准侧重推理、生成等高阶任务，专门针对词汇理解与生成的“原子能力”设计，填补基础语言能力评估空白。
3. 双维度任务设计：每个核心任务均包含“理解（X→模型）”和“生成（模型→X）”两个方向，全面衡量模型词汇处理能力。
4. 低成本构建与高实用性：基于现有词典、单语数据等易获取资源构建，词汇翻译任务可作为低资源语言机器翻译评估的 proxy，降低数据稀缺场景下的评估成本。

三、关键部分翻