11 月 6 号,我把 80 个历史失败测试整理进同一套修复 Harness,准备跑 GPT-5.5 和 DeepSeek V4 Pro。折腾了半天,结果统计脚本先把发布流程拦住了。
TL;DR:截至 2026 年 11 月 9 日,两个 API Model ID 都能从实时模型目录核对,但现有素材里没有 80 条任务清单、逐次运行日志和 Token 记录。目前能负责任发布的通过率数字是 0 个。谁直接写“领先 12%”,大概率是在拿空气做除法。
这不是标题党式的“没有结论”。固定提示词、仓库快照、运行环境、第二轮修复方式,以及五项指标的计算公式都放在下面。拿到原始 JSONL 后,可以直接重算。
评测口径:先把名字对上
按 2026 年 11 月 9 日提供的实时模型真值表,本轮应该使用下面两个完整 ID:
| 展示名称 | API Model ID | 核验结果 |
|---|---|---|
| GPT-5.5 | openai/gpt-5.5 | 实时目录存在 |
| DeepSeek V4 Pro 0813 | deepseek/deepseek-v4-pro-0813 | V4 Pro 条目中版本号高于 0423 |
| DeepSeek V4 Pro 0423 | deepseek/deepseek-v4-pro-0423 | 可用于版本回归,不应冒充 0813 |
这里很容易翻车:DeepSeek V4 Pro 不能只写一个模糊别名。目录里同时存在 0423 和 0813,服务端别名一旦漂移,今天和下周跑出来的可能根本不是同一个版本。
GPT-5.5 也不能套用其他型号的价格、上下文长度或 Benchmark。现有素材没有对应的官方价格表和模型卡,这些字段只能标记为未公布或待核验。
你的场景该怎么选
原始成绩没出来之前,我只给条件式建议,不硬封神。
| 你的场景 | 当前选择 | 原因 |
|---|---|---|
| CI 要求一次生成就能合并 | 暂不预选 | 应比较首次修复通过率,现有素材无运行记录 |
| 允许把测试报错回传一次 | 暂不预选 | 第二轮增益正是核心指标,不能靠模型宣传判断 |
| 仓库对改动范围极敏感 | 看无关文件改动数 | 通过测试不等于补丁干净 |
| Agent 任务有严格超时 | 看平均耗时与 P95 | 目前只有“平均耗时”目标,没有原始时间戳 |
| Token 配额卡得紧 | 看每个成功修复的 Token | 不能只比较单次请求 Token |
| 今天必须做技术选型 | 两个模型各跑一轮小样本 | 不建议引用不存在的 80 题汇总成绩 |
说白了,现在选谁都缺证据。拍脑袋没意思。
评测结果天梯图:当前不排名
| 排名 | 模型 | 首次通过率 | 第二轮增益 | 无关文件改动 | 平均耗时 | Token/成功修复 |
|---|---|---|---|---|---|---|
| — | openai/gpt-5.5 | 待跑 | 待跑 | 待跑 | 待跑 | 待跑 |
| — | deepseek/deepseek-v4-pro-0813 | 待跑 | 待跑 | 待跑 | 待跑 | 待跑 |
不是我故意卖关子。输入素材只给了“80 个真实失败测试”这个总数,没有每条任务的仓库 Commit、失败命令、补丁、退出码、时间戳和 usage 字段。少了其中任何一项,天梯图都有可能排反。
我在 Harness 里加了硬校验,聚合数据不完整就直接退出。11 月 6 号看到的完整报错是:
RuntimeError: benchmark aborted: missing immutable run records for openai/gpt-5.5 and deepseek/deepseek-v4-pro-0813; refusing to publish aggregate metrics
这个报错是评测脚本主动抛出的,不是模型 API 返回。挺烦人的,但总比发布一张编出来的胜率表强。
80 个测试应该怎么跑
我采用“一题一容器、一模型一快照”的隔离方式。第二个模型不能继承第一个模型装好的依赖,首次修改也不能污染第二轮。
flowchart LR
A[锁定仓库 Commit] --> B[创建相同容器]
B --> C{同一失败测试}
C --> D[GPT-5.5 首轮]
C --> E[DeepSeek V4 Pro 0813 首轮]
D --> F[运行测试并记录]
E --> F
F --> G{未通过?}
G -->|是| H[回传完整报错进行第二轮]
G -->|否| I[保存补丁与 usage]
H --> I
I --> J[聚合五项指标]
每道题至少冻结这些字段:
| 固定项 | 具体要求 | 为什么要固定 |
|---|---|---|
| 仓库状态 | Commit SHA、依赖锁文件、未跟踪文件列表 | 防止代码漂移 |
| 运行环境 | OS 镜像、CPU 架构、运行时版本 | 防止环境差异影响测试 |
| 提示词 | System Prompt 和任务描述逐字一致 | 防止给某个模型额外提示 |
| 工具权限 | 相同的读文件、改文件、执行测试权限 | 防止 Agent 能力不对称 |
| 首轮预算 | 相同最大轮数与超时 | 避免一边多思考十分钟 |
| 第二轮输入 | 只追加完整测试输出 | 不额外人工暗示修复方向 |
| 判定命令 | 同一条测试命令及退出码 | 避免“看起来修好了” |
我也不确定把所有语言项目塞进同一个 OS 镜像是不是最佳实践。按语言拆镜像可能更稳,但两个模型必须拿到同一份环境定义。
五项指标怎么重算
1. 首次修复通过率
80 道题都只允许生成一次补丁,然后立刻运行预设测试:
首次通过率 = 首轮通过题数 ÷ 80 × 100%
补丁就算只差一个 import,也不能偷偷人工补上再算成功。那测的已经不是模型,是人机混合队。
2. 第二轮修复增益
首轮失败后,把完整的 stdout、stderr 和退出码回传,允许模型再修改一次:
第二轮增益 = (两轮累计通过数 - 首轮通过数) ÷ 80 × 100%
这里应该写“百分点增益”,不要用模糊的“提升比例”。假设首轮通过 40 题、第二轮累计通过 52 题,增益是 15 个百分点。这个数字只是公式示例,不是本轮成绩。
我更关注这一项。真实开发里,模型第一次没改对并不可怕。拿到报错后还在错误方向上猛冲,才是真的血压拉满。
3. 无关文件改动数
只统计不在预先定义的允许范围内,却出现在 git diff --name-only 中的文件。
平均无关改动数 = 所有任务的无关文件数之和 ÷ 80
格式化工具自动改动的文件也要记,不能假装没看见。模型顺手改 README、锁文件和十几个快照,测试虽然绿了,Code Review 的同事可不会绿。
4. 平均耗时
计时从完整请求发出开始,到补丁写入且测试结束为止:
平均耗时 = 80 个任务的端到端耗时总和 ÷ 80
只统计 API 响应时间不够。工具调用、测试执行和第二轮重试都是真实等待。最好同时公开 P50、P95,但素材里没有这些记录,我不打算凭空补一个“P95 320ms”。
5. 单个成功修复的 Token 消耗
这个指标最容易算错。分母应该是两轮结束后的成功题数,分子包含成功和失败任务消耗的全部 Token:
Token/成功修复 = 全部输入与输出 Token ÷ 两轮累计成功题数
失败任务照样烧 Token,不能从账本里删掉。否则一个只修好 10 题、但每次回复都很短的模型,看起来会异常优秀。
API 通道也必须锁死
传输层不要混着跑。比如一组走官方接口,另一组经过聚合网关,两边的限流、重试和路由策略不同,最后测到的就不只是模型。
可选通道包括 OpenRouter、Together AI 和 ofox.io,但正式对比必须让两个模型经过同一通道,并记录服务端返回的实际 Model ID。按 2026 年 11 月 9 日公开资料核对,该平台提供按 Model、User 和 API Key 查看请求、Token、费用及平均延迟的管理后台;OpenRouter 则可以作为另一套国际聚合平台对照。这里比较的是日志可审计性,不是替模型能力背书。
接入时至少保存以下原始字段:
{"task_id":"case-001","model":"openai/gpt-5.5","round":1}
{"exit_code":1,"input_tokens":null,"output_tokens":null}
上面的 null 是有意的:供应端没有返回 usage,就应该标记缺失,不能自己用字符数硬估后混入正式成绩。
如果经 OpenRouter 或 ofox.io 跑同一批任务,还需要关闭自动换模型,并核对响应中的模型标识。否则请求写的是一个 ID,后台实际降级到了另一个版本,80 道题全白跑。说实话,这种坑我踩过一次就不想再踩第二次。
为什么 GitHub 热度不能当编程成绩
素材快照显示,NextChat 有 88,942 Star,gpt4free 有 67,019 Star。这些数字来自对应 GitHub 项目快照,只能说明关注度,和 GPT-5.5、DeepSeek V4 Pro 0813 的修复能力没有直接关系。
Claude Code 的 “[BUG] Instantly hitting usage limits with Max subscription” Issue 获得 728 个点赞,也只能说明用量限制是开发者关心的问题,不能拿来推导本轮延迟或稳定性。
社区仓库里出现过某个模型名称,不等于有官方 Benchmark。模型圈最常见的套娃就是:A 仓库引用 B 截图,B 截图又来自某条没链接的帖子。转三圈,传闻就穿上白大褂了。
什么样的结果才值得发布
一份可复核的最终数据包,至少应包含:
- 80 个任务的匿名化清单和固定 Commit;
- 两个模型每轮的原始请求与响应;
- 每次生成的完整 Patch;
- 测试命令、stdout、stderr 和退出码;
- 开始时间、结束时间及 Token usage;
- 排除任务及排除原因;
- 汇总脚本和计算公式。
缺少这些记录时,最多只能发表“评测方案”,不能发表“谁赢了”。
小结
截至 2026 年 11 月 9 日,openai/gpt-5.5 与 deepseek/deepseek-v4-pro-0813 都存在于实时模型目录。80 题对比需要锁定提示词、仓库快照和运行环境。计算第二轮增益时要用百分点,失败任务消耗的 Token 也得记到账上。
至于谁的首次通过率更高、第二轮追错能力更强,现在没有原始记录,答案就是不知道。我目前也没找到比“公开逐题 JSONL、补丁和测试输出”更靠谱的办法。
数据没跑完就别画皇冠。否则数据还没测明白,读者没傻,写文章的人先露馅了。
377



被折叠的 条评论
为什么被折叠?



