A Multi-evidence, Position-aware, and Scalable Benchmark for Evaluating Long-Context LLMs

本文是LLM系列文章，针对《Counting-Stars (★):A Multi-evidence, Position-aware, and Scalable Benchmark for Evaluating Long-Context Large Language Models》的翻译。

摘要

虽然最近的研究工作集中在开发具有强大长上下文能力的大型语言模型（LLM）上，但由于缺乏长上下文基准，人们对长上下文LLM的性能知之甚少。为了解决这一差距，我们提出了一种用于评估长上下文LLM的多证据、位置感知和可扩展的基准，名为Counting Stars，它通过使用两个任务来评估长上下文LLC：多证据获取和多证据推理。基于Counting Stars测试，我们进行实验来评估长上下文LLM（即GPT-4 Turbo、Gemini 1.5 Pro、Claude3 Opus、GLM-4和Moonshot-v1）。实验结果表明，Gemini 1.5 Pro实现了最佳的整体效果，而GPT-4 Turbo的性能在各种任务中是最稳定的。此外，我们对这些LLM的分析表明，随着输入上下文的长度和任务的复杂性的增加，LLM有改进的潜力。代码和数据已发布。

1 引言

2 Counting Stars

3 实验

4 讨论

5 相关工作

6 结论