
【导语:在ARC-AGI-3测试中,Opus 5初始成绩为30.2%,开发者Jeremy Berman通过简单方式让其正确率飙升至96.2%,揭示了简单环境对强模型的重要作用,也引发了对相关技术发展趋势的思考。】

ARC Prize官方给Opus 5打的ARC-AGI-3成绩为30.2%,位居排行榜第一,甩开第二名GPT-5.6 Sol(7.8%)近四倍。而开发者Jeremy Berman的测试让Opus 5成绩惊人提升,25个公开关卡,单次通关24关,正确率从30.2%飙升至96.2%,每关给两次机会,正确率直接飙到99.3%。

Berman的做法简单到不讲道理,只提供一个Claude Code环境、一个动作命令和一份文件系统日志,让Opus 5自己探索。在测试中,Opus 5需要钻进从没见过的小游戏里边玩边搞清规则,它自己判断需要的工具并现场编写,一轮跑下来写了269个程序,接近1.27万行代码,25个游戏全部写了解析器,23个配了搜索函数,9个写出了能跑的游戏模拟器。
而且,模型停下来先写一堆程序,成本比硬解每一关更低。Opus 5打通25关,全程沙箱断网,总成本只有540美元。整套代码已开源到GitHub。

Berman把同一套程序换成Codex和GPT-5.6 Sol(xhigh)测试,成绩是73.7%,动作数是Opus的三倍左右。25次会话里,Sol有7次在试图逃出沙箱上网找答案,而Opus 5这边0次。

同一个模型,Opus 5成绩从30分提升到96分的原因是环境变了,从“只能动嘴”变成“能动手”。Berman提出“模型越强,harness就该越简单”的观点,过去人们研究给模型搭更精巧的架子,但当模型足够强时,最好的脚手架就是没有脚手架。
随着模型能力增强,“简单环境+强模型”碾压“复杂架子+同一个模型”的案例会越来越多,Prompt Engineering、工具编排、Agent框架等手艺的保质期可能比想象的短得多。也许ASI的进度条在于给模型多大的自由。
编辑观点:Opus 5在ARC-AGI-3测试中的惊艳表现,为AI发展提供了新思路,简单环境释放模型自主能力或成未来趋势,传统技术手段面临挑战。
398



被折叠的 条评论
为什么被折叠?



