Competition-Level Problems are Effective LLM Evaluators
https://aclanthology.org/2024.findings-acl.803.pdf
《竞赛级问题作为有效的LLM评估者》
文章目录
摘要
大型语言模型(LLMs)展示了令人印象深刻的推理能力,然而,关于这些能力以及最近潜在的数据污染问题的争论仍在持续。本文旨在评估LLMs的推理能力,特别是在解决Codeforces中最近的竞赛级编程问题方面,这些问题是由专家精心设计且独特的,需要深入理解和强大的推理技能。我们首先对GPT-4在这项任务上的零样本(zero-shot)表现进行全面评估,考虑了问题发布时间、难度和遇到的错误类型等多个方面。令人惊讶的是,GPT-4在2021年9月之后的问题上的表现一致地出现了断崖式下降,这表明了潜在的数据污染问题,以及任何现有LLM在解决未见过的复杂推理问题时面临的挑战。
我们进一步探索了各种方法,如微调、思维链(Chain-of-Thought)提示和问题描述简化。不幸的是,它们中没有一个能够一致地缓解挑战。通过我们的工作,我们强调了这个优秀数据源对于评估LLMs真正推理能力的重要性,并促进未来LLMs更强推理能力和更好泛化能力的发展。
1 引言
LLMs的兴起