2025_NIPS_LiveCodeBench Pro: How Do Olympiad Medalists Judge LLMs in Competitive Programming?

文章核心总结与创新点

主要内容

该研究聚焦大型语言模型（LLMs）在竞技编程中的真实能力，通过国际算法竞赛奖牌得主的专业视角，重新审视“LLMs已超越精英人类”的说法。研究构建了持续更新的竞技编程基准测试集LiveCodeBench Pro，包含584道来自Codeforces、ICPC、IOI等顶级赛事的高质量题目，通过专家标注和逐行故障分析，揭示了当前LLMs的性能边界：无外部工具时，最优模型在中等难度题目上的pass@1仅为53%，难题上为0%；LLMs擅长实现类题目，但在算法推理、复杂案例分析上存在显著缺陷，且常产生自信的错误论证。

创新点

1. 提出LiveCodeBench Pro基准：实时采集最新竞赛题目，避免数据污染，由专家标注算法类别和认知焦点（知识密集型、逻辑密集型、观察密集型），支持细粒度诊断。
2. 结合人类专家分析：通过奖牌得主对125份模型失败提交与人类提交的对比，明确模型失败主要源于概念错误，而非实现问题。
3. 多维度性能剖析：探究了多轮尝试（pass@k）、工具使用、推理能力对不同类型题目性能的影响，量化了LLMs与人类大师的差距。

---

译文（Markdown格式）

Abstract

近期有报告称，大型语言模型（LLMs）在竞技编程中已超越精英人类。基于一组国际算法竞赛奖牌得主的专业知识，我们重新审视这一说法，探究LLMs与人类专家的差异及仍存在的局限性。我们推出L