
【导语:Meta联合斯坦福、哈佛推出的全新编程基准ProgramBench,200道题让所有前沿AI模型通过率为0%,GPT-5.5成为首个破题者,这一突破揭示了推理算力对编程AI能力的关键影响。】

几天前,Meta联手斯坦福、哈佛祭出ProgramBench全新编程基准,200道题让所有前沿AI模型通过率为0%。如今,GPT-5.5成为首个破例者,在这个所有前沿AI交白卷的基准上首关告破。
传统编程基准如SWE-bench和HumanEval本质是“修bug”或“补函数”,属于开卷或半开卷考试。而ProgramBench则是给一个编译好的可执行文件和一份文档,要求从0开始重写程序,不给源码,不许反编译,不许联网,任务涵盖从小工具到重量级程序。

GPT-5.5攻克的第一个任务是cmatrix程序,其high和xhigh两个推理级别选择了不同语言解题,high版本用C语言,xhigh版本用Python,且都通过了全部行为测试。
GPT-5.5 high先用10轮探索测试40多种flag组合,摸清原程序CLI行为后一次性写出完整C语言实现,仅用5次微调修补搞定。GPT-5.5 xhigh则用27步探索每条CLI路径,一气呵成写出完整Python实现。
未开高推理模式的GPT-5.5(medium)成绩一般,切到xhigh模式后性能直接起飞,首次解出一道题(通过率0.5%),还创下“几乎解出”任务的新纪录,在累积直方图上全程碾压所有对手。

对比之下,Claude Opus 4.7 xhigh花费$10.74,调了178次API,是GPT-5.5普通版$1.04、17次调用的10倍,但结果19个测试失败,全场最差。
Opus 4.7失败原因一是颜色解析大小写敏感,代码用了strcmp()而非strcasecmp(),导致11个测试失败;二是无效颜色的退出码写错,导致8个测试失败。不过,Opus 4.7在处理缺失的ncurses头文件时展现了惊人的系统工程能力。

ProgramBench的出现标志着编程基准进入新阶段,此前的评估方式区分度越来越低,而ProgramBench 200道题至今仅1道被解出,通过率0.5%。
此次破纪录揭示了“推理算力”正在成为编程AI能力的核心变量,同一个GPT-5.5底座,不同推理模式表现差异巨大。这意味着通往ASI的路径可能不需要等待下一代架构革命,只要推理算力持续扩展。
编辑观点:GPT-5.5在ProgramBench上的突破意义重大,凸显了推理算力的关键作用,为编程AI发展指明新方向,也让我们看到通往ASI的新可能。
456



被折叠的 条评论
为什么被折叠?



