可扩展性长文本评测集——Ada-LEval 详细解读

长文本评测

随着大模型能够处理的上下文信息越来越多，达到百万级别的词汇量，人们对于模型长文本能力的研究兴趣也随之增长。

司南 OpenCompass 数据集社区已经出现了诸如 L-Eval、LongBench 等长文本评测基准。这些工作基于一些开源 / 自建的数据集构建样本，其构建评测集上的性能已可以一定程度上反映模型的能力。

因此，在长文本评测这一工作里，我们认为一个好的长文本评测集应该具备以下性质：

• 样本长度可控：测试样本的上下文长度最好是可控的，以便于测量和比较模型在各个上下文长度下的能力变化（若测试集由不同上下文长度的测试样例混杂而成，则难以精确测量某一长度下的性能）。
• 全文理解：测试任务应当需要完整阅读 / 分析整段文本后才能成功完成。一个反例是：此前存在一些长文本总结任务，模型阅读特定部分文本（如开头 + 结尾）后即可达到不错性能。
• 指标简明清晰：测试集的指标应当做到定义清晰，其数值可以定量反映模型的性能。
• 能测试超长上下文：评测集需要能够测试模型在超长上下文上的性能。目前主流 API 模型的上下文长度已来到了 128,000 token 甚至更长，而早期的一些长文本评测集最长仅覆盖到 32,000 token。

Ada-LEval评测集

基于以上思考，司南 OpenCompass 团队构建了长文本评测集——Ada-LEval。Ada-LEval 包含 2 个任务：TSort (文本排序)、BestAnswer (选择最佳答案)，每个