Competitive Programming with Large Reasoning Models

本文是LLM系列文章，针对《Competitive Programming with Large Reasoning Models》的翻译。

摘要

我们发现，应用于大型语言模型（LLM）的强化学习显著提高了复杂编码和推理任务的性能。此外，我们将两种通用推理模型——OpenAI o1和o3的早期检查点——与特定领域的系统o1-ioi进行了比较，o1-ioi使用了为参加2024年国际信息学奥林匹克竞赛（IOI）而设计的人工推理策略。我们在IOI 2024上与o1-IOI进行了现场比赛，并使用手工制作的测试时间策略，排名第49位。在宽松的比赛限制下，奥获得了一枚金牌。然而，在评估后续模型（如o3）时，我们发现o3在没有手工制定特定领域策略或放宽约束的情况下实现了金牌。我们的研究结果表明，尽管o1-ioi等专用管道产生了切实的改进，但扩大的通用o3模型在不依赖手工推理启发式的情况下超越了这些结果。值得注意的是，o3在2024年IOI上获得了金牌，并获得了与精英人类竞争对手相当的CodeForces评级。总体而言，这些结果表明，扩展通用强化学习，而不是依赖于特定领域的技术，为在推理领域（如竞争性编程）实现最先进的人工智能提供了一条稳健的道路。

1 引言