模型跑分到底怎么看? Gemini 4 Argon 发了一张官方对照表，除了跑鹈鹕, 我们应该怎么测试模型能力？

关注

原创最新推荐文章于 2026-11-04 10:23:50 发布 1k 阅读 AI 写同款· GEO 优化 ›

GLM-5.1开源大模型：从鹈鹕测试看代码生成与工程化部署大语言模型（LLM）的核心原理是通过海量数据训练，学习语言和代码的统计规律与语义关联，实现文本生成、代码补全等能力。其技术价值在于将自然语言指令转化为可执行代码或复杂解决方案，极大地提升了开发效率和创意实现门槛。在应用场景上，LLM广泛应用于智能编程助手、动态内容生成、自动化测试与调试等领域。本文以智谱AI开源的GLM-5.1模型为例，通过其成功通过“鹈鹕测试”——生成带动画的SVG代码并完成多轮调试——展示了开源大模型在**代码理解**与**工程实践**上的突破。该模型采用宽松的MIT许可证，支持私有化部阅读详情

让鹈鹕骑自行车，孙悟空开客机、秦始皇拧螺丝，这种提示词测的是真本事，但它不是跑分

一、开篇：大家都在自己出题考 AI

先说一只鹈鹕。2024 年 10 月 25 日，开发者 Simon Willison 在自己的博客上发了一篇短文，宣布要搞一个「自己的大模型测试」：让模型用 SVG 代码画一只骑自行车的鹈鹕。他用的提示词只有一句：Generate an SVG of a pelican riding a bicycle。第一批他跑了 16 个模型。

为什么偏偏是鹈鹕？他给了两个理由：一是他本人喜欢鹈鹕；二是他很确定网上没有现成的「鹈鹕骑车」SVG 文件，模型没法从训练数据里抄一份交差。这个理由很关键。文字模型本来就不会画画，它只能一行行写出坐标和形状，车架怎么连、鹈鹕的腿怎么踩到脚踏上，全得靠它自己在脑子里摆好。画得像不像，一眼就能看出来。

这个半开玩笑的测试后来越传越广。2024 年 12 月，这篇旧文被人贴上 Hacker News，拿到了 102 分。到 2025 年 6 月，Simon Willison 干脆用一只只鹈鹕回顾了过去半年的大模型。他在那篇文章结尾写了个小插曲：几周前的 Google I/O 主题演讲里，屏幕上一闪而过一只骑车的鹈鹕。他的反应是：「他们发现我了。」这句玩笑背后有个严肃的问题：一道题一旦出名，就可能被人专门拿去练，它也就不再能测出真本事了。

最近各个微信群开始流行画鹈鹕骑自行车，有的看着还行，有的看着搞笑。

鹈鹕之后，民间出的题越来越难。现在网上流传着一段中文超级长提示词，读起来像一部荒诞小说：孙悟空坐在驾驶舱里开一架四发动机的大客机，一只鹈鹕在机翼上骑自行车，一只北极熊横跨在鹈鹕张开的两只翅膀上，秦始皇穿着玄衣、戴着冕旒骑在熊背上，右手拿电动螺丝刀拧螺丝。秦始皇头顶还要托一只乌龟，乌龟背上站一头小象，小象背着温室，温室里的树上挂着沙漏，沙漏上站着戴宇航头盔的章鱼，章鱼头盔上顶着茶杯，茶杯里有灯塔，灯塔顶上有个玻璃球。玻璃球里要画出整幅画的简化版，简化版的玻璃球里再画一层，然后必须停下来，用一个金色圆点收尾。

这还没完。画面各处还藏着几十道题：一道很绕的糖果盲取题，答案要同时出现在鹈鹕的对话气泡、飞机尾部航班号和一块「最坏情况记录板」上；自行车车架上写「strawberry」，车铃上要写出这个词里有几个字母 r；章鱼的黑板上要比较 9.11 和 9.9 谁大，还特意提醒「不得按版本号比较」；机身上画三扇门，考经典的三门问题；热气球下挂一个七层汉诺塔，旁边写出最少要挪几步。提示词最后还要求，同一个答案在画面好几个位置必须一模一样。

图为 GPT-5.6 Sol 按超长提示词生成的一张推理测试图。

拆开来看，这段提示词其实在考五件事。第一，空间关系：谁托着谁、每样东西数得对不对，比如四台发动机要能分别数清。第二，属性绑定：哪只企鹅戴红帽、哪只拿鱼，不能串到别的动物身上。第三，递归能不能按规则停下，而不是无限套娃。第四，几十条约束能不能同时满足、前后一致。第五，经典陷阱题会不会顺着直觉答错。

超级提示词像一层托一层的积木，每层藏着不同考点（示意图）。

这类测试很好玩，也确实能看出模型的短板。但它有三个硬伤：每个人出的题不一样；打分全凭眼睛；题目一出名，还可能被专门训练。所以它没法用来横向比较。正式的跑分表倒是统一了题目和打分，可普通读者往往只看得出「谁的数字大」。9 月 30 日，Google 发布了 Gemini 4 Argon，同时放出一张和 GPT-6 Astra、Claude Fable 5.1、Claude Opus 5.5 的对照表，一共 19 行成绩。拿它来练习怎么读，正合适。Argon 是 9 月 30 日发布的，先向部分用户开放。Google CEO Sundar Pichai 在自己的 X 账号上写，Argon 带有「前沿级」的防护措施（frontier safeguards），首先给美国政府和一批受信任的网络防御方用，Google 把这个项目叫 Fairwind Program；其余人要等，他写的是「会尽快、也会尽量安全地」开放，没有给具体日期。Google 博客写，随后会向付费 API 客户和 Google AI Ultra 订阅用户尽快开放。

二、拿官方表练手：先看谁测的，再看缺什么、差多少

先看这张表本身。9 月 30 日，Google 发布 Gemini 4 Argon，同时放出一张对照表，对手是 GPT-6 Astra、Claude Fable 5.1 和 Claude Opus 5.5，共 19 行成绩。表的页脚给了一个方法页（deepmind.google/models/evals-methodology/gemini-4-argon），说明每一行的数字从哪来。拿到一张官方对照表，第一反应往往是看新模型那一列：哪项最高、领先多少。其实应该先看页脚：每一格是谁测的？

数字是谁测的，决定了它能不能和旁边的数字比：第三方榜单是统一条件，厂商自报是各家自己的环境，Google 自己跑的则要看方法页怎么写。

读这种表，具体做法分三步。第一步，看方法页，把每一行归类：Google 自己跑的、取自第三方榜单的、厂商自己报的。第二步，能回查的格去回查：第三方榜单就去那个榜单页对，厂商自报的去厂商发布页对。第三步，看缺格和领先幅度：表里有「—」的地方为什么缺，领先几个点算不算在误差里。

下面几个例子，数字都是 10 月 1 日打开各家公开页面核过的；凡是只有 Google 或厂商自己报、公开页面上查不到的，文中都会写明。

官方表逐格的来源标注：蓝色是第三方榜单上核到的数，橙色是 Google 自己跑的，灰色是厂商自己报的，虚线框是表上没有数；橙色点线框是没核到可靠出处、不显示数字，浅灰点线框是对应榜单上没有 Argon 这一行、同样不显示数字；红圈是 Claude Opus 5.5 的 Terminal-Bench 4.0 一格。

例子一，同一行里混着两种口径。Terminal-Bench 4.0 这一行，Argon 是 57.4%，方法页写明是 Google 自己跑的；GPT-6 Astra 是 58.2%，Claude Fable 5.1 是 57.9%，都和 Snorkel 网站上的公开榜镜像页一致；Claude Opus 5.5 是 66.4%。我们在 10 月 1 日打开这个镜像页，没有看到 Opus 5.5 这一行（官方榜站点的表格是网页脚本生成的，我们这次没能读到，所以不敢说官方榜上一定没有）。66.4% 与 Anthropic 9 月 22 日发布页上自己报的数一致（xhigh 档，标准误 ±2.6，在 Anthropic 自己的环境里跑的）。也就是说，同一行里，有的是公开榜上的数，有的是厂商自报，口径并不一样。Artificial Analysis（AA）自己复测的 Opus 5.5 是 59.6%：用的是 AA 统一的 mini-swe-agent 测试框架，每道题跑三次取平均，AA 页面写明全部评测由它独立运行。

例子二，Argon 这一列有不少格是 Google 自己跑的。方法页写明，Argon 在 DeepSWE v1.1、Terminal-Bench 4.0、Agent's Last Exam、OSWorld-2.0、LVBench、LABBench2、GraphWalks、PostTrainBench 等行上都是 Google 自己跑的；Vals Index、Vals Finance Agent v2、Harvey 法律智能体、Vibe Code Bench 取自 Vals AI，AutomationBench 取自 Zapier，FrontierSWE 取自 Proximal，CWE-bench 取自 Collinear。我们回查了后面这几家的榜单页，Argon 在这几行上的数字都对得上。第三方榜单上的格能回查，自己跑的格只能信方法页怎么写，读的时候要分开看。

例子三，表里只有四个模型，「领先」只是在这四个里领先。Vibe Code Bench 这一行，Argon 是 91.9%，比表里另外三个都高。但 Vals 榜单页上，榜首是 Claude Sonnet 5.5，92.39%，Argon 排第 2，一共 106 个。Harvey 法律智能体这一行，Argon 是 19.6%，表里最高；Vals 榜上榜首是 Muse Spark 1.2，25.42%，Argon 排第 5，一共 73 个。

例子四，领先几个点，算不算有差。Vals Index 这一行，Argon 68.9%，Claude Opus 5.5 67.0%，差 1.9 个点；Vals 页给的误差大约是 ±0.97，差的幅度约两倍误差，算有一点领先，但不大。FrontierSWE v2 这一行反过来：Argon 是 55.0%（±9.9），GPT-6 Astra 是 65.5%（±8.9），差十个点左右，但两边的误差也各有九到十个点，区间大面积重叠，别急着下结论。

例子五，缺格不是忘了写。表里有三格写着「—」：Claude Fable 5.1 的 Agent's Last Exam，方法页说它不在公开榜上；OSWorld-2.0 里 Claude 的两格，方法页说 Anthropic 只报了在线和离线合起来的总分，没法对上 Argon 用的离线子集。缺格背后，是没有可比的数。

例子六，价格要写明是哪一种。Google 博客写的是：Argon 现在是介绍期价格，每百万 token 输入 2 美元、输出 10 美元；介绍期结束后是 4 美元和 20 美元。博客没有写介绍期什么时候结束。Arena、Artificial Analysis 页面列的是介绍期价 2 美元 / 10 美元，Vals 页列的是介绍期后的 4 美元 / 20 美元。引用价格时要写明是哪一种，两种不能混着比。

再回头看一个反面例子。Argon 发布前，网上流传过一张列着 Gemini 4 Pro、Flash、Flash-Lite 的跑分截图（下面简称旧网传截图），里面不少数字和 Google 发布的官方表对不上。我们不知道那张截图是怎么来的，只能说：数字放错列、对不上官方页面的表，不用看。它在这里只当反面例子，下面这几处是我们拿官方页面一格一格对出来的：

Terminal-Bench 4.0（在命令行里完成复杂任务的测试）：旧网传截图里 GPT-6 Astra 是 66.4%。OpenAI 官方发布页写 57.9%，Snorkel 镜像页写 58.2%；66.4% 是 Gemini 4 Argon 官方表里 Claude Opus 5.5 的数。
DeepSWE v1.1（软件工程测试）：官方写 GPT-6 Astra 是 74.1%，旧网传截图写的是 86.9%。
价格：OpenAI 官方写 GPT-6 Astra 每百万 token 输入 10 美元、输出 50 美元，旧网传截图写的是 12 美元和 60 美元。
上下文长度：Anthropic 官方文档写 Claude Fable 5.1 是 100 万 token（1M），旧网传截图写的是 200k。

四处都对不上，而且差得不小。这里要说清楚：这是反面例子，我们不知道那张截图是谁做的，也不知道错在哪一步，能确定的只是「它和官方数字对不上」。

之前网传虚假的分数表

这张图把旧网传截图里和官方对不上的四处并排列出来，只用作反面例子。

下表是旧网传截图里四处对不上的地方，官方值都核对过官方页面。

模型	项目	官方值	旧网传截图上的值	官方出处
GPT-6 Astra	Terminal-Bench 4.0	57.9%	66.4%	OpenAI 发布页 openai.com/index/gpt-6-astra
GPT-6 Astra	DeepSWE v1.1	74.1%	86.9%	OpenAI 发布页 openai.com/index/gpt-6-astra
GPT-6 Astra	价格（每百万 token，输入/输出）	10 美元 / 50 美元	12 美元 / 60 美元	OpenAI API 模型页 developers.openai.com/api/docs/models/gpt-6-astra
Claude Fable 5.1	上下文长度	1M	200k	Anthropic 模型文档 platform.claude.com/docs/en/models/fable-5-1/overview

三、看名字里的关键词，认出考的是哪一类

搞清了每一格是谁测的，下一个难题是：表里一行行的英文名到底在考什么？跑分的名字五花八门，但名字里的关键词基本就说明了它考的方向。记住下面几组，大部分榜单都能对上号。

名字里有 SWE、Terminal 的，考写代码、改代码、在命令行里干活，比如 DeepSWE v1.1、Terminal-Bench 4.0。
名字里有 GDP、Finance、Legal 的，考的是真实上班的活，比如 GDPval-AA 用的是真实职业里的工作任务；LAB 在 Artificial Analysis 的页面上指的是法律 AI 公司 Harvey 做的法律智能体测试。
名字里有 OS、World、Browse 的，考操作电脑和浏览器，比如 OSWorld 2.0、BrowseComp。
名字里有 Agent 或者希腊字母 τ（tau）的，考多步骤完成任务、中途调用工具，比如 AutomationBench-AA，以及 τ 系列里的金融客服测试。
名字里有 HLE、GPQA、Math、ARC 的，考难题、竞赛题和推理题。HLE 是 Humanity's Last Exam 的缩写，其他例子还有 GPQA Diamond、FrontierMath、ARC-AGI 系列。
名字里有 Char、MMMU、V 的，考看图表、看图片和视频。
名字里有 Omniscience 的，考不知道的时候会不会乱编。比如 AA-Omniscience，答对加分，乱猜扣分，所以老老实实说「不知道」反而比瞎猜划算。
名字里有 Bio、Science 的，考科研任务，比如 LifeSciBench、GeneBench Pro。
名字里有 Index、Arena 的，是综合排名，下一节细讲。

回头看开篇那段超级提示词：它考的数数、空间承托和陷阱推理，大致落在「难题推理」和「看图」这两类里。区别在于，正式榜单是一套固定的题、统一的打分方法，题量从几十道到几千道不等。比如 Terminal-Bench 4.0 一共 66 道题，AA-Omniscience 有 6000 道。每个模型做的是同一套卷子，分数才能放在一起比。

本节速览：先认出这一行考的是什么，再看它跟你关心的事有没有关系；上面这张对照表可以存下来，看到新榜单时对着查。

四、两个常见的综合排名：Arena 和 Artificial Analysis

说到「综合排名」，最常被引用的是两家：Arena 和 Artificial Analysis（下面简称 AA）。一个是真人投票比谁更好用，一个是第三方在统一条件下考试。两家的结果经常不一样，这很正常，因为它们回答的是不同的问题。下面的排名和分数都是 10 月 1 日打开页面看到的，页面数据日期是 9 月 30 日，随时会变。

先说 Arena。它的核心玩法是真人盲评：同一个问题同时交给两个匿名模型，用户看完两个回答，投票选更好的那个，投完才揭晓是谁。Arena 再用 Bradley-Terry 方法把这些投票算成分数，这个方法和国际象棋里的 Elo 积分是一个思路。按用途，Arena 分成文字、代码、看图、文档、搜索、图片生成和编辑、视频生成等好几个榜。

截至 10 月 1 日，Arena 文字总榜（页面数据日期 9 月 30 日）排第一的是刚发布的 Gemini 4 Argon（High），分数 1525±9。但它被标成「初步」（Preliminary），只有 4,942 票；排第二的是 Claude Opus 4.6（High），1505±3，有 7.7 万多票；第 3 到第 6 名（Claude Fable 5 High 1505、Claude Opus 5.5 High 1504、Claude Opus 4.7 High 1502、Claude Fable 5.1 Max 1501）都在 1501 到 1505 之间，和第二名最多差 4 分。「±9」和「初步」都在提醒别把名次看太死，第五节会专门说误差。

Arena 官方账号发的文字榜图（Text Arena，图源：Arena 官方 X 帖，页面数据日期 9 月 30 日）。图上没有日期，也没标「初步」和票数：Gemini 4 Argon（High）1,525，初步，4,942 票。

Arena 的网页开发榜（Code Arena WebDev，页面数据日期 9 月 30 日）上，Gemini 4 Argon（High）排第 8，1679±14，同样标「初步」，只有 2,184 票，名次范围是第 6 到第 11 名；榜首是 Claude Opus 5.5（Max）1818（只有 1,976 票），第二名是 GPT-6 Astra（Max）1789。

Arena 官方账号发的网页开发榜图（Code Arena WebDev，图源：Arena 官方 X 帖）。图上没有日期，也没标「初步」；这里只看前 8 名：Gemini 4 Argon（High）第 8，1,679。

Arena 还有一个 Agent 榜，玩法完全不同：它不靠投票，而是看模型在真实使用中的表现。用户在 Arena 的 Agent 模式里真刀真枪地干活，系统记录五种信号：用户有没有确认任务完成；用户是夸还是骂；被用户纠正后能不能改对；命令执行失败后能不能尽快恢复；会不会调用根本不存在的工具。这五项合成一个 Net Improvement 分，意思是「换成这个模型，比平均水平好多少」，正数表示高于平均，负数表示低于平均。Agent 榜又按任务分成三类：Code（写代码、调 bug、自动化流程、分析数据）、Chat（创意写作、学习、日常查资料、生成媒体内容等）和 Work（写文档、专业调研、做计划、正式写作）。

截至 10 月 1 日（页面数据日期 9 月 30 日），Agent 总榜和 Code 类排第一的仍是 Claude Fable 5.1（Max）。Gemini 4 Argon（High）在 Agent 总榜排第 8，7.92%，名次范围是第 3 到第 15 名，只有 3,417 次会话，样本还不多；它每任务的中位花费约 0.63 美元（Arena 页面上这一项按最近 14 天滚动，10 月 1 日早些时候显示过 0.62 美元，会有小幅变动），比同一榜上的 Fable 5.1、Opus 5.5、Astra 都低。有意思的是，Arena 在 8 月 14 日的博客里写的还是另一番景象：在它当时挑出来对比的一批主流模型里，Agent 总榜第一是 Claude Opus 5（High），Code 类第一是 GPT 5.6 Sol（xHigh）。一个多月后，头名已经换了人。所以引用排名时一定要带上日期。

Arena 官方账号发的 Agent 总榜图（图源：Arena 官方 X 帖）。图上没有日期；页面数据日期 9 月 30 日。Gemini 4 Argon（High）第 8，+7.9%。

Arena 官方账号发的 Agent 榜「分数对成本」图（图源：Arena 官方 X 帖）。横轴是每任务的中位花费（最近 14 天，对数刻度，越靠右越便宜），纵轴是 Net Improvement；绿线是最外沿连成的一条线，线上的模型是同样的钱买不到更高分的。图上 Gemini 4 Argon（High）的花费写 0.62 美元；这一项按最近 14 天滚动，页面后来显示 0.63 美元，所以约 0.62–0.63 美元。

再说 AA。它不搞投票，而是自己在统一条件下把各家模型拉来考试。它的综合分叫 Intelligence Index，目前是 v4.3.2 版，分数在 0 到 100 之间，由 10 门考试组成：AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience 和 AA-LCR v1.1。这些考试分成智能体、编程、通用能力、科学推理四类。截至 10 月 1 日，得分最高的仍是 Claude Opus 5.5（Max 档），58 分。Gemini 4 Argon（High 档）是 53 分，与 Claude Fable 5.1（Max）和 GPT-6 Astra（Max）都是 53 分，做完整套题平均每道题花 1.99 美元，比 Fable 5.1 的 7.63 美元、Astra 的 3.26 美元便宜不少。

要注意两点。一是 1.99 美元是介绍期的半价：AA 在 9 月 30 日的 X 帖里写，介绍期结束后每题约 3.98 美元（AA 页面上没有这个数，只有帖里这么说），Google 还没公布介绍期何时结束。二是 AA 把 Argon 标成「尚未公开提供」（Not publicly available），也就是说，榜上这个分是在只向部分用户开放的版本上测的，对外开放后价格和可用档位可能变。

AA 网站上的其他页面，其实是同一批模型换个角度看：每门考试的单项成绩、做一道题平均花多少钱、花多少时间、用了多少 token。其中最实用的是「分数对成本」散点图：横轴是做一道题的平均花费，纵轴是综合分。越靠左上角的模型，越是又强又便宜。图上还有一条最外沿连成的线，线上的模型意味着：同样的钱，已经买不到更高的分了。

Artificial Analysis 官方 X 帖配图（9 月 30 日发布，图源：Artificial Analysis 官方 X 帖）。上半是综合指数 v4.3.2 的各模型得分，下半是综合分对做一道指数题的平均花费（横轴是对数刻度，越靠左上越划算）。绿色箭头是 AA 自己加的，指向 Gemini 4 Argon（High）；格子纹表示尚未公开提供；Argon 的 1.99 美元是介绍期价。图上没有日期，正文数字以 10 月 1 日打开的页面为准。图保持原样、没有改动，版权归 Artificial Analysis。

同一个 Argon，在 Arena 文字榜上排第一，在 Arena Agent 榜上排第 8，在 AA 的综合指数上和别的几个并列 53 分，在 AA 的编程智能体指数上（测的是「命令行工具加模型」的组合）搭配 Google 自家的命令行工具排第 3，这并不矛盾：投票比的是谁更好用，Agent 榜看的是真实干活，AA 是统一考试。两家怎么搭配着用？想看整体实力，看 AA 的综合指数；想知道用起来顺不顺手，看 Arena；写代码的人，可以同时看 AA 的编程单项和 Arena 的 Code 榜；要控制成本，看 AA 的分数对成本图，或者 Arena Agent 榜上的每任务花费。

再把两种成绩单放在一起看。Google 的对照表是发布方自己挑的 19 项考试，只有四个模型；Artificial Analysis 的综合指数是另一种读法：10 门固定的考试合成一个分，Argon 是 53 分，与 GPT-6 Astra（Max）、Claude Fable 5.1（Max）同在 53 分这一档，榜首 Claude Opus 5.5（Max）是 58 分。两边并不矛盾：一个回答「在发布方挑的这几项里谁更高」，一个回答「在固定的一套考试合起来站哪里」。

Arena 看用起来顺不顺手，AA 看统一考试考得怎么样。

本节速览：Arena 看好不好用，AA 看统一考试考得怎么样；两家不一致很正常，按你想问的问题选着看，引用时记得带日期；新模型刚上榜时票数和会话数都少，名次看看就好；官方发的图上大多没有日期，数字以页面日期为准，Argon 在 AA 上还被标成尚未公开提供。

五、读分的四条规矩

就算表的出处清楚、类别也认对了，同一个分数换个角度看，意义也可能完全不同。下面四条规矩，读任何跑分都用得上。

第一条，先问谁测的。厂商自测、第三方复测、真人投票，可信度和口径都不一样。还要看测试设置：能不能用工具、试了几次、让模型想多久。举个例子，同样是 GPT-6 Astra 考 Terminal-Bench 4.0，OpenAI 官方发布页写的是 57.9%，Terminal-Bench 4.0 公开榜在 Snorkel 网站上的镜像页写的是 58.2%。发布页的页面脚注说明这是各种推理档位里取的最高分，在它自己的研究环境或 API 上跑出来的；AA 自己复测的是 59.6%，用的是 xhigh 档、AA 统一的 mini-swe-agent 测试框架，每道题跑三次取平均（AA 页面写明全部评测由它独立运行）。两个数字不一样，不代表谁错了，而是测法不同。再看 Claude Fable 5.1 的同一项：OpenAI 和 Anthropic 的发布页都写 55.8%，Snorkel 镜像页写 57.9%，AA 复测是 55.1%（xhigh 档）和 52.0%（max 档），四个数字，四种测法。Gemini 4 Argon 的官方对照表里还有一个现成的教学例子：Claude Opus 5.5 在这一项是 66.4%，来自 Anthropic 9 月 22 日发布页的自报（xhigh 档，在它自己的环境里跑的），Snorkel 镜像页上我们没有看到这一行（官方榜站点的表格我们这次没能读到，所以官方榜上有没有，我们没核到），AA 复测是 59.6%。这不是造假，是口径不同：同一行里的数字，不一定是同一把尺子量出来的。所以看到一个分数，先找它的测试设置写在哪。

同一个 Claude Fable 5.1，在同一门 Terminal-Bench 4.0 上，四个来源给出四个数，因为测法不同。

还要问一句：测的到底是什么。AA 还有一个「编程智能体指数」（Coding Agent Index，v1.5），测的不是模型本身，而是「命令行工具加模型」这个组合：DeepSWE v1.1、Terminal-Bench 4.0、SWE-Atlas-QnA 三项考试各占三分之一，取平均。10 月 1 日页面上，默认显示的 15 行里排第 1 的是 Claude Code 工具搭配 Claude Sonnet 5.5（max 档），68 分；Gemini 4 Argon 是搭配 Google 自家的 Antigravity 命令行工具，64 分，排第 3。这和前面说的 Intelligence Index 是两套不同的指数，分数不能混着比；它里面的 Terminal-Bench 4.0 也只是三项之一，而且是各家工具各自跑出来的，不等于上面说的那几个 Terminal-Bench 4.0 单项分数。比如页面上 Claude Code 搭配 Claude Opus 5.5（max 档）的 Terminal-Bench 4.0 分量是 63.1%，它既不是 Google 表里的 66.4%，也不是 AA 统一框架复测的 59.6%：同一套 66 道题，谁来跑、用什么工具，数就不同。同一个模型换一个工具，分数可能不同，所以看到「某模型多少分」，先问它是在哪个工具里测的。

AA 编程智能体指数（Coding Agent Index v1.5）页面截图，默认显示的 15 行。它测的是「命令行工具加模型」的组合，不是前面说的 Intelligence Index；三项考试各占三分之一。截图上没有日期，页面 10 月 1 日核对过。Claude Code 搭配 Fable 5.1 一行页面标「with fallback」：遇到安全拒绝时，工具会换成另一个模型把任务做完。

第二条，差一两点基本等于没差。题量有限，每次跑的结果也会有波动，小分差很可能落在误差里。Terminal-Bench 4.0 一共只有 66 道题，多做对一道，分数就差一个半百分点左右。AA 的复测里，Claude Opus 5.5（max 和 xhigh 两档）和 GPT-6 Astra（xhigh 档）干脆同分，都是 59.6%。Arena 更直接，把误差写在了分数旁边，页面上还给了一个「名次范围」：在 Agent 总榜上，Gemini 4 Argon（High）排第 8，7.92%±3.24，名次范围是第 3 到第 15 名；文字榜上 Claude Opus 5.5（High）排第 4，1504±10，名次范围是第 2 到第 14 名。换句话说，按目前的数据，排第 8 的真实可能排第 3，也可能排第 15。遇到这种情况，把前几名当成同一档就好。

第三条，大家都快考满分的考试，分不出高低。一门考试刚出来时能拉开差距，但模型进步快，过一阵子大家都挤在满分附近，再比就没意义了。OpenAI 在 GPT-6 Astra 的官方发布页上列了 ARC-AGI-1 的成绩：GPT-6 Astra 98.5%，GPT-5.6 Sol 97.5%，Claude Fable 5.1 97.5%，Claude Fable 5 98.5%，Claude Opus 5 97.5%，五个模型全挤在 97.5% 到 98.5% 之间。同一页上，OpenAI 还说 GPT-6 Astra 在 ARC-AGI-3 上拿到 99.9%，用的词就是「考满了」（saturates）。出题的人也知道这个问题：Terminal-Bench 4.0 这一版就专门删掉了 8 道已经被大家考满、或者有其他问题的题。遇到分数挤在顶上的榜，换一个更难的榜去看。

ARC-AGI-1 上五个模型都挤在满分附近，已经分不出高低。

第四条，价格要一起看。分数高一点、价格贵好几倍，对多数任务不一定划算。而且只看每百万 token 的单价还不够，还要看完成一次任务实际用了多少 token。Arena 的 Agent 榜就能看出这一点：Claude Fable 5.1（Max）和 GPT 6 Astra（Max）的单价一样，都是每百万 token 输入 10 美元、输出 50 美元，但在真实使用中，完成一次任务的中位花费（10 月 1 日页面）前者约 4.2 美元，后者约 2.9 美元（这一项按最近 14 天滚动，会有小幅变动）。单价一样，实际花的钱可以差不少。再看 Gemini 4 Argon（High）：页面列的单价是介绍期价，每百万 token 输入 2 美元、输出 10 美元（Google 博客写介绍期结束后是 4 美元和 20 美元，没有写介绍期何时结束，两种价格不能混着比）；它在 Agent 榜上每任务的中位花费约 0.63 美元，但名次是第 8。便宜不等于划算，也不等于不划算，要和分数放在一起看。第四节提到的 AA「分数对成本」图，就是把这件事画成了一张图。

本节速览：先问谁测的、怎么测的；小分差不当真；快考满分的榜少看；还要问测的是模型还是「工具加模型」；价格和分数放在一起算，还要算一次任务实际花多少。