2025_NIPS_ICPC-Eval: Probing the Frontiers of LLM Reasoning with Competitive Programming Contests

文章总结与翻译

一、主要内容

本文针对现有编程基准测试在评估大型语言模型（LLMs）复杂推理和竞赛级编程能力时的不足，提出了ICPC-Eval——一个基于国际大学生程序设计竞赛（ICPC）的顶级编程基准测试框架。核心内容包括：

1. 基准测试构建：从11场近年全球ICPC竞赛中筛选出118道高难度题目，涵盖算法基础、动态规划、图论、计算几何等8大核心领域，剔除含非文本图像、交互元素或无标准解的题目，并为12道特殊题目开发专用裁判程序（SPJs），确保题目难度与真实竞赛一致。

2. 本地评估工具链：利用LLMs生成两种测试用例生成器（随机输入生成器和边界案例生成器），结合已知正确代码生成输出结果，并通过错误程序验证测试用例的有效性，解决了传统基准依赖在线裁判、私有测试用例不可访问的问题，实现高效准确的本地评估。

3. 评估指标创新：提出Refine@K指标，模拟真实竞赛中的迭代优化过程，允许模型在K次尝试内基于执行反馈（如编译错误、超时、答案错误）迭代修正代码，相比传统Pass@K指标更能反映模型的反思和推理能力。

4. 实验验证：对15