
本页内容
问题描述;搜索空间有多大;测试内容;测试结果;深入剖析 `/goal` 指令;相同指令背后的两种不同系统;Claude Code:独立的评估器;Codex:持久化状态与生命周期工具;为何 `/goal` 在多数测试中获胜,却并非理想的默认设置;局限性;复现方法
Fable 5与GPT - 5.6 Sol在NP难题上的较量:`/goal` 模式是否有效?
2026年7月17日 / 阅读时长:6分钟。简而言之,给Claude Fable 5和GPT - 5.6 Sol布置了同一个未公开的NP难题优化任务,分别测试了开启和关闭其原生 `/goal` 模式的情况。结果显示,Fable 5表现出色,但 `/goal` 模式并非改变战局的关键因素。
背景信息:这是一个运筹学问题,最初是在一场黑客松活动中提供给学生的。多年前,花了一周时间用C++来解决这个问题,因此有了一个可供参考的人类基线。
在这次基准测试中,Fable 5表现极为出色。它整体上给出了最佳解决方案,而且其稳定性是在处理这个问题的模型中从未见过的,充分展现了它强大的智能。
另一个发现是,`/goal` 模式并非简单的 “更努力尝试” 开关。它会改变控制循环和搜索路径,有时能找到更好的解决方案,但有时也会让一个糟糕的思路有更多时间发展。
所有代码、提示信息、结果表格、排除项和轨迹记录都可在相关平台找到。这是关于这个基准测试的第一篇文章的后续。
问题描述
KIRO是2018年作为工程专业学生时参与的一个光纤网络设计问题。给定格勒诺布尔、尼斯和巴黎的有向距离矩阵,求解器需要在满足多个结构约束的前提下,使用环路和短链连接分布点和终端。目标是使总电缆长度最短,数值越低越好。
一个有效的网络由以分布枢纽为根的冗余环路组成,环路中的塔上挂有短分支。每个塔必须仅出现一次,而且反转电缆段可能会改变其成本。
搜索空间有多大?
由于解决方案可以使用任意数量的环路、不同的环路大小以及不同锚定和顺序的分支,所以没有单一的封闭形式计数方法。不过,仅巴黎的数据就可以提供一个有用的下限。
即使忽略顺序和分支,仅将532个终端分配给11个分布枢纽之一,也有 `11^532` 种可能的分配方式。
一个更严格的下限来自一类经过刻意限制的有效解决方案:正好19个环路,每个环路包含28个终端,且没有分支。因为 `19 x 28 = 532`,同时满足每个环路不超过30个终端的限制。对532个终端进行排序,将排序结果分成19个连续的组,由于环路集合是无序的,所以要除以 `19!`,然后为每个环路选择11个枢纽之一:`(532! / 19!) x 11^19 ~= 10^1223`
测试内容
主要实验的范围经过了有意的限定:模型包括Claude Fable 5、Opus 4.8、Sonnet 5、GPT - 5.6 Sol、Terra、Luna;模式有普通模式、原生 `/goal` 模式;优化预算为30分钟;外部代理超时时间为1900秒;推理设置为每个模型的最大可用设置;执行环境是Harbor 0.1.43、Docker、订阅认证。
测试结果
在集中对主要的两个模型进行重复测试之前,对每个模型进行了一次30分钟无提示的匹配测试。对于Fable和Sol,图表使用的是重复测试中的第一组数据;其他四个模型各有一组数据。
然后,对Fable 5和Sol进行了重复对比测试,直到每个模型都有三次匹配测试结果。
从测试数据来看,负数表示 `/goal` 模式更优。在六次测试中,`/goal` 模式赢了四次,仅从胜率来看,这个功能似乎很有用。但平均值却揭示了另一个事实:两个模型通常能从 `/goal` 模式中获得小幅度的提升,但偶尔也会出现大幅倒退的情况。这就是为什么 `/goal` 模式在多数测试中获胜,但却使两个模型的平均得分变差的原因。
Fable 5的表现明显更胜一筹。它在普通模式下的平均得分比Sol高1875分,在 `/goal` 模式下的平均得分比Sol高1984分。更重要的是,Fable 5在普通模式下的得分波动范围仅为319分,而Sol在普通模式下的得分波动范围达到了1958分。Fable 5在 `/goal` 模式下取得了最佳的清晰得分31934分,其普通模式则是最稳定的配置。
深入剖析 `/goal` 指令
相同指令背后的两种不同系统
Claude Code和Codex都提供了 `/goal` 指令,但它们的实现方式截然不同。
Claude Code:独立的评估器
Claude Code将 `/goal` 实现为一个会话范围的停止钩子。在主模型的每一轮交互之后,一个小型评估器模型(默认是Haiku)会读取条件和对话内容,并给出 “是” 或 “否” 的判断以及相应的理由。如果判断为 “否”,则开始新一轮交互;如果判断为 “是”,则清除目标。
评估器不能使用工具或检查文件,只能根据对话记录中的证据进行判断。这可以捕捉到提前退出的情况,但无法判断再进行一千万次求解器迭代是否有价值。需要注意的是,Claude Code并非开源软件,所以只能依赖Anthropic提供的信息。
Codex:持久化状态与生命周期工具
查看了基准测试版本Codex CLI 0.144.4的源代码。Codex将目标视为持久化的线程状态:TUI会保存当前线程的目标,SQLite会存储其状态和预算信息;工作模型可以使用 `create_goal`、`get_goal` 和 `update_goal` 工具;如果线程在目标激活时处于空闲状态,Codex会注入一个包含目标和完成审核的继续交互轮次。
Claude将完成判断委托给另一个模型,而Codex则让工作模型自行声明完成,然后在持久化目标仍然激活的情况下继续运行。Claude的评估器独立但只能查看对话记录,Codex可以访问文件和工具,但实际上是自己给自己打分。
为何 `/goal` 在多数测试中获胜,却并非理想的默认设置
在正常的编码任务中,进展往往是清晰可见的:多一轮交互可能就能修复一个测试用例或完成一次迁移。但优化任务不同,一旦求解器选定,额外的时间可能会放大一个好决策,也可能会让一个坏决策变得更糟。
在这次测试中,情况正是如此。当 `/goal` 模式支持Fable 5的快速编译组合或Sol的成功链重新分区时,它起到了帮助作用;但当Fable 5构建了一个慢速求解器或Sol进行了一次详尽的锚点扫描时,它就产生了负面影响。中位数略有改善,但最差的情况却变得更差了。
局限性
这只是一个未公开的NP难题,并非通用的编码排行榜。只有Fable 5和Sol有三组清晰的匹配测试数据。其他比较测试混合了不同的提示信息、包装器版本和时间限制,而且测试是通过订阅服务按顺序进行的,服务状态可能会有所波动。
尽管任务元数据声明只使用一个CPU,但容器实际上暴露了八个CPU,这对Fable 5的并行组合更有利。Fable 5和Sol的所有得分输出都是有效的,部分原因是包装器要求进行早期检查点和最终验证。这个基准测试衡量的是整个系统的性能,包括模型、CLI、提示信息、订阅服务和测试框架。
复现方法
基准测试任务、包装器、分析脚本、图表生成器和完整的证据备忘录都可以在相关平台中找到。由于原始作业目录体积较大,未包含在Git中,但备忘录记录了所有可发布的得分、城市细分数据、耗时、策略、排除项和运行ID。
主要命令如下:RUN_ID = article - kiro - YYYYMMDD - clean;PHASE = nohint - all;./scripts/run_subscription_article_matrix.sh;uv run python scripts/summarize_subscription_article_results.py RUN_ID...;uv run python scripts/analyze_subscription_article_results.py RUN_ID...
这个测试的关键结论并非 `/goal` 模式是好是坏,而是一个持久化功能在多数单独测试中获胜的同时,却可能使观察到的平均性能变差。在一个困难的优化问题中,循环的质量远不如循环所执行的内容重要。



被折叠的 条评论
为什么被折叠?



