
【导语:Meta联手斯坦福、哈佛推出的全新编程基准ProgramBench,200道题让所有前沿AI模型通过率为0%,如今GPT-5.5首破纪录,展现出推理算力的重要性,也标志着编程基准进入新阶段。】

几天前,Meta联手斯坦福、哈佛祭出ProgramBench全新编程基准,200道题让所有前沿AI模型通过率为0%。而GPT-5.5成为首个破例者,在这个所有前沿AI交白卷的基准上首关告破。
传统编程基准如SWE-bench和HumanEval本质是「修bug」或「补函数」,属于开卷或半开卷考试。而ProgramBench则是给一个编译好的可执行文件和一份文档,要求从0开始重写程序,不给源码,不许反编译,不许联网。

GPT-5.5攻克的第一个任务是cmatrix程序,其high和xhigh两个推理级别选择了不同语言解题。high版本用C语言,先用10轮探索测试40多种flag组合,摸清原程序CLI行为后一次性写出完整实现,仅用5次微调修补搞定。xhigh版本用Python,27步探索摸遍每一条CLI路径后一气呵成写出完整实现。
未开高推理模式的GPT-5.5(medium)成绩勉强比Claude Sonnet 4.6好一点,但切到xhigh模式,性能直接起飞,不仅首次解出一道题(通过率0.5%),还创下「几乎解出」任务的新纪录:26个任务通过了95%以上的单元测试,且在累积直方图上全程碾压所有对手。

Claude Opus 4.7 xhigh花费$10.74,调了178次API,是GPT-5.5普通版$1.04、17次调用的10倍,结果19个测试失败,全场最差。
其失败原因一是颜色解析大小写敏感,代码用了strcmp()而不是strcasecmp(),导致11个测试失败;二是无效颜色的退出码写错,原程序返回exit(0),Opus写成了exit(1),导致8个测试失败。不过,Opus 4.7在处理缺失的ncurses头文件时展现了惊人的系统工程能力,但并未带来更好的成绩。

ProgramBench的出现标志着编程基准进入新阶段,SWE-bench的通过率已被卷到88.7%,GPQA上AI已超过大多数PhD,这些eval区分度越来越低。而ProgramBench 200道题至今只有1道被解出,通过率仅0.5%。
这次破纪录揭示了「推理算力」正在成为编程AI能力的核心变量,同一个GPT-5.5底座,不同推理模式表现差异巨大。这意味着通往ASI的路径可能不需要等待下一代架构革命,只要推理算力持续扩展,模型能力有望不断提升。
编辑观点:GPT-5.5在ProgramBench上的突破意义重大,凸显了推理算力的关键作用。未来编程AI的发展,推理算力的提升或许将成为重要方向,有望推动AI在编程领域实现更大突破。
88



被折叠的 条评论
为什么被折叠?



