11 月 12 号晚上,我准备把 google/gemini-4-argon 和 z-ai/glm-5.3 接进自己的 Agent 回归脚本,跑完就发天梯榜。结果预检做到定价和官方模型卡时,卡住了。硬跑也不是不行,但测到的只能是“某个聚合入口当时返回了什么”,未必等于厂商正式版本的能力。
TL;DR:截至 2026 年 11 月 12 日,实时模型目录可以确认 google/gemini-4-argon 与 z-ai/glm-5.3 这两个 model ID 可用。但现有一手资料里找不到官方模型卡、定价页和受控测试原始记录。六项指标没有一项具备可复核的横向数据,现在没法负责任地判断谁更会调用工具。
这不是打太极。首次参数合法率、必填字段遗漏率、多工具选择准确率、修复轮数、响应延迟、单次成功成本,任何一个数字如果拿不出原始响应和账单,都是编的。
评测维度
我把 120 组 Schema 固定成五类。这是评测设计,不是厂商 Benchmark。
| Schema 类型 | 数量 | 主要考点 |
|---|---|---|
| 单工具基础参数 | 40 | 必填字段、数字与字符串类型 |
| 嵌套对象与枚举 | 30 | 深层字段、enum、数组元素 |
| 多工具选择 | 20 | 能否选对函数,而非见工具就调 |
| 并行工具调用 | 15 | 多个独立任务能否一次发出 |
| 错误恢复 | 15 | 面对 400、429、500 是否改参或重试 |
| 合计 | 120 | 固定提示词、工具集合与评分器 |
为了减少偶然性,每组要重复 5 次。两款候选模型的完整测试量是:
120 × 5 × 2 = 1200 次任务
每个模型先预热 10 次,预热请求不计入统计;单次超时阈值固定为 30,000ms。温度、系统提示词、工具顺序、Schema 字段顺序和最大输出都要保持一致。否则折腾半天,测出来的可能只是参数差异。
graph LR
A[固定提示词与120组Schema] --> B[候选模型]
B --> C[原始工具调用响应]
C --> D[JSON Schema校验]
D --> E[执行模拟工具]
E --> F[错误注入与修复]
F --> G[准确率 延迟 成本报表]
六项指标怎么算
| 指标 | 计算方式 | 趋势 |
|---|---|---|
| 首次参数合法率 | 首轮通过 Schema 校验数 ÷ 120 | 越高越好 |
| 必填字段遗漏率 | 缺少必填字段的首轮调用数 ÷ 120 | 越低越好 |
| 多工具选择准确率 | 工具集合完全正确的任务数 ÷ 多工具任务数 | 越高越好 |
| 平均修复轮数 | 成功任务的追加修复轮数之和 ÷ 成功任务数 | 越低越好 |
| 响应延迟 | 首次工具调用 P50、P95 与完整任务耗时 | 分开统计 |
| 单次成功成本 | 全部测试费用 ÷ 最终成功任务数 | 越低越好 |
这里很容易骗人:一次请求便宜,不等于完成任务便宜。模型漏掉字段,再修两轮,输入上下文会重复计费。一个月跑下来,费用完全可能差出一截。
单次成功成本应该这样算:
请求成本 = 输入Token÷1,000,000×输入单价
+ 输出Token÷1,000,000×输出单价
单次成功成本 = 总请求成本÷成功任务数
如果还有缓存价格和工具调用附加费,也要分别算进去。当前素材里没有两款模型可核验的价格,所以这列只能标记为 [待验证]。不能塞个 ¥0.00 之类的占位数,假装算得很精确。
评测结果天梯图
先看最关键的表。这里不排“谁第一”,只列现阶段能确认什么。
| 层级 | google/gemini-4-argon | z-ai/glm-5.3 | 可否下结论 |
|---|---|---|---|
| Model ID 存在性 | 实时目录可查 | 实时目录可查 | 可以 |
| 厂商正式版本公告 | 未提供,[待验证] | 未提供,[待验证] | 不可以 |
| 首次参数合法率 | 无原始记录 | 无原始记录 | 不可以 |
| 必填字段遗漏率 | 无原始记录 | 无原始记录 | 不可以 |
| 多工具选择准确率 | 无原始记录 | 无原始记录 | 不可以 |
| 平均修复轮数 | 无原始记录 | 无原始记录 | 不可以 |
| P50/P95 响应延迟 | 无受控数据 | 无受控数据 | 不可以 |
| 单次成功成本 | 缺少可核验定价 | 缺少可核验定价 | 不可以 |
当前天梯结论:并列“数据不足”,不是并列第一。
说实话,我一开始不太想写这个结论。评测文章没有胜负,看起来多少有点扫兴。但随手填一个 92.5% 或 P95 1,840ms 更离谱,懂行的人看一眼就知道账对不上。
不同场景怎么选
| 你的场景 | 现在怎么做 | 原因 |
|---|---|---|
| 准备上线支付、工单等强 Schema Agent | 两款都先跑业务回归集 | 公开素材不足以证明参数稳定性 |
| 只做内部原型 | 各抽 20 组真实 Schema 快测 | 重点看必填字段遗漏和修复轮数 |
| 多工具编排 | 至少跑满 35 组多工具、并行用例 | 单工具成功不代表路由正确 |
| 对成本敏感 | 等拿到实际账单后算成功成本 | 不能只看每百万 Token 单价 |
| 长上下文 Agent | 单独做 10 万、25 万、50 万 Token 测试 | 工具能力与上下文稳定性不是一回事 |
按我的经验,业务工具别全塞进同一轮。12 个函数还勉强能人工排查,堆到 60 个以后,工具描述稍微撞点词,模型选错了都不一定能马上发现。挺烦人的。
第一梯队详解:先保证评分器不放水
工具调用结果不能只靠 json.loads() 判断。下面这种 JSON 完全合法,业务上却已经失败:
{"name":"create_order","arguments":{"amount":99}}
如果 Schema 要求 order_id,评分器就得明确判错。我用固定坏样本执行本地 jsonschema 校验时,核心报错如下:
jsonschema.exceptions.ValidationError: 'order_id' is a required property
Failed validating 'required' in schema['properties']['payload']:
{'type': 'object', 'required': ['order_id']}
On instance['payload']: {'amount': 99}
这是本地验证器的完整核心错误,不是两款模型的 API 报错。现有素材没有提供它们完整的运行时错误正文,不能张冠李戴。
我会把“参数正确”分成四层:JSON 可解析、Schema 合法、工具选择正确、工具执行成功。四层全部通过,才算一次成功。字段名对了但类型错了,不给半分。任务要求先搜索再计算,顺序反了,也不能算完整成功。
第二梯队详解:延迟与成本最容易测歪
延迟至少要记下三个时间点:
- 发出请求;
- 收到首次工具调用;
- 最终任务完成。
流式文本的首 Token 很快,不等于工具调用也快。模型可能先输出一段分析,过几秒才给函数参数。Agent 用户等的是任务完成,不是界面上先冒出一个字。
网关也必须控制变量。OpenRouter、Together AI 与 ofox.io 都可以作为测试入口,但同一轮横评只能固定其中一个,并保存 request_id、原始响应和时间戳。按 2026 年 11 月 12 日公开资料核对,OpenRouter 标示 5.5% 手续费,ofox.io 标示 0% 加价并提供按 Model、User、API Key 查看 Token、费用与平均延迟的后台;这些属于平台计费与观测条件,不是模型能力分数。
我也不确定“连续五次取中位数”是否适合所有 Agent 场景。遇到突发流量,中位数会掩盖长尾。正式报告还是要给 P95,并把 429 的重试等待单独列出来。
建议每条日志至少保留这些字段:
| 字段 | 用途 |
|---|---|
model | 锁定完整 model ID |
schema_id | 定位失败用例 |
request_id | 追查网关与上游问题 |
raw_arguments | 复现 JSON 与字段错误 |
validation_error | 区分解析失败和业务失败 |
repair_rounds | 统计模型自修复能力 |
latency_ms | 计算 P50、P95 |
input_tokens/output_tokens | 重算真实成本 |
长上下文数据不能顺手嫁接
Google Antigravity CLI 的社区 Issue #1245 有用户报告,所谓 1M-context models 在约 250K 时提前压缩,点赞数为 31;#878 请求关闭自动压缩并释放完整 1M 上下文,点赞数为 23。
原始 Issue 标题在素材里已经截断:
[Bug]: Premature ~250K context compaction on 1M-context models drops exact symbo
这只是社区报告,没有得到官方确认,也没有证据表明问题适用于 google/gemini-4-argon。用它推导“该模型长上下文不行”站不住脚,更不能据此给工具调用准确率扣分。
同样,zexadev/gemini-web2api-go 的第三方仓库有 838 Star,只能说明社区关注度。Star 不是 Benchmark。openinterpreter/openinterpreter 的仓库描述提到 GLM 5.3,也替代不了正式模型卡或定价页。
我的选型结论
现在让我在 google/gemini-4-argon 与 z-ai/glm-5.3 之间直接挑一个,我不会选。不是说两款都不行,手上的证据还不够。
能落地的办法很直接:固定 120 组 Schema,每组重复 5 次,保存 1,200 次任务的原始工具参数和修复过程,同时记下毫秒级时间戳与实际账单,再按文中的公式计算。然后比较首次参数合法率、字段遗漏、P95 和单次成功成本,结果自然会告诉你谁更适合自己的 Agent。
别看着模型名拍板。参数能不能过,工具能不能跑,账单能不能重算,这些都对上了,天梯榜才有意义。
1万+



被折叠的 条评论
为什么被折叠?



