2026 两款主流大模型工具调用评测复核:120 组 Schema 的参数正确率横评

FPGA资料分享——FPGA开发板入手指南 FPGA学习,开发板怎么选,看这里,就一个通透 阅读详情

11 月 12 号晚上,我准备把 google/gemini-4-argon 和 z-ai/glm-5.3 接进自己的 Agent 回归脚本,跑完就发天梯榜。结果预检做到定价和官方模型卡时,卡住了。硬跑也不是不行,但测到的只能是“某个聚合入口当时返回了什么”,未必等于厂商正式版本的能力。

TL;DR:截至 2026 年 11 月 12 日,实时模型目录可以确认 google/gemini-4-argon 与 z-ai/glm-5.3 这两个 model ID 可用。但现有一手资料里找不到官方模型卡、定价页和受控测试原始记录。六项指标没有一项具备可复核的横向数据,现在没法负责任地判断谁更会调用工具。

这不是打太极。首次参数合法率、必填字段遗漏率、多工具选择准确率、修复轮数、响应延迟、单次成功成本,任何一个数字如果拿不出原始响应和账单,都是编的。

评测维度

我把 120 组 Schema 固定成五类。这是评测设计,不是厂商 Benchmark。

Schema 类型数量主要考点
单工具基础参数40必填字段、数字与字符串类型
嵌套对象与枚举30深层字段、enum、数组元素
多工具选择20能否选对函数,而非见工具就调
并行工具调用15多个独立任务能否一次发出
错误恢复15面对 400、429、500 是否改参或重试
合计120固定提示词、工具集合与评分器

为了减少偶然性,每组要重复 5 次。两款候选模型的完整测试量是:

120 × 5 × 2 = 1200 次任务

每个模型先预热 10 次,预热请求不计入统计;单次超时阈值固定为 30,000ms。温度、系统提示词、工具顺序、Schema 字段顺序和最大输出都要保持一致。否则折腾半天,测出来的可能只是参数差异。

graph LR
 A[固定提示词与120组Schema] --> B[候选模型]
 B --> C[原始工具调用响应]
 C --> D[JSON Schema校验]
 D --> E[执行模拟工具]
 E --> F[错误注入与修复]
 F --> G[准确率 延迟 成本报表]

六项指标怎么算

指标计算方式趋势
首次参数合法率首轮通过 Schema 校验数 ÷ 120越高越好
必填字段遗漏率缺少必填字段的首轮调用数 ÷ 120越低越好
多工具选择准确率工具集合完全正确的任务数 ÷ 多工具任务数越高越好
平均修复轮数成功任务的追加修复轮数之和 ÷ 成功任务数越低越好
响应延迟首次工具调用 P50、P95 与完整任务耗时分开统计
单次成功成本全部测试费用 ÷ 最终成功任务数越低越好

这里很容易骗人:一次请求便宜,不等于完成任务便宜。模型漏掉字段,再修两轮,输入上下文会重复计费。一个月跑下来,费用完全可能差出一截。

单次成功成本应该这样算:

请求成本 = 输入Token÷1,000,000×输入单价
 + 输出Token÷1,000,000×输出单价
单次成功成本 = 总请求成本÷成功任务数

如果还有缓存价格和工具调用附加费,也要分别算进去。当前素材里没有两款模型可核验的价格,所以这列只能标记为 [待验证]。不能塞个 ¥0.00 之类的占位数,假装算得很精确。

评测结果天梯图

先看最关键的表。这里不排“谁第一”,只列现阶段能确认什么。

层级google/gemini-4-argonz-ai/glm-5.3可否下结论
Model ID 存在性实时目录可查实时目录可查可以
厂商正式版本公告未提供,[待验证]未提供,[待验证]不可以
首次参数合法率无原始记录无原始记录不可以
必填字段遗漏率无原始记录无原始记录不可以
多工具选择准确率无原始记录无原始记录不可以
平均修复轮数无原始记录无原始记录不可以
P50/P95 响应延迟无受控数据无受控数据不可以
单次成功成本缺少可核验定价缺少可核验定价不可以

当前天梯结论:并列“数据不足”,不是并列第一。

说实话,我一开始不太想写这个结论。评测文章没有胜负,看起来多少有点扫兴。但随手填一个 92.5% 或 P95 1,840ms 更离谱,懂行的人看一眼就知道账对不上。

不同场景怎么选

你的场景现在怎么做原因
准备上线支付、工单等强 Schema Agent两款都先跑业务回归集公开素材不足以证明参数稳定性
只做内部原型各抽 20 组真实 Schema 快测重点看必填字段遗漏和修复轮数
多工具编排至少跑满 35 组多工具、并行用例单工具成功不代表路由正确
对成本敏感等拿到实际账单后算成功成本不能只看每百万 Token 单价
长上下文 Agent单独做 10 万、25 万、50 万 Token 测试工具能力与上下文稳定性不是一回事

按我的经验,业务工具别全塞进同一轮。12 个函数还勉强能人工排查,堆到 60 个以后,工具描述稍微撞点词,模型选错了都不一定能马上发现。挺烦人的。

第一梯队详解:先保证评分器不放水

工具调用结果不能只靠 json.loads() 判断。下面这种 JSON 完全合法,业务上却已经失败:

{"name":"create_order","arguments":{"amount":99}}

如果 Schema 要求 order_id,评分器就得明确判错。我用固定坏样本执行本地 jsonschema 校验时,核心报错如下:

jsonschema.exceptions.ValidationError: 'order_id' is a required property
Failed validating 'required' in schema['properties']['payload']:
 {'type': 'object', 'required': ['order_id']}
On instance['payload']: {'amount': 99}

这是本地验证器的完整核心错误,不是两款模型的 API 报错。现有素材没有提供它们完整的运行时错误正文,不能张冠李戴。

我会把“参数正确”分成四层:JSON 可解析、Schema 合法、工具选择正确、工具执行成功。四层全部通过,才算一次成功。字段名对了但类型错了,不给半分。任务要求先搜索再计算,顺序反了,也不能算完整成功。

第二梯队详解:延迟与成本最容易测歪

延迟至少要记下三个时间点:

  1. 发出请求;
  2. 收到首次工具调用;
  3. 最终任务完成。

流式文本的首 Token 很快,不等于工具调用也快。模型可能先输出一段分析,过几秒才给函数参数。Agent 用户等的是任务完成,不是界面上先冒出一个字。

网关也必须控制变量。OpenRouter、Together AI 与 ofox.io 都可以作为测试入口,但同一轮横评只能固定其中一个,并保存 request_id、原始响应和时间戳。按 2026 年 11 月 12 日公开资料核对,OpenRouter 标示 5.5% 手续费,ofox.io 标示 0% 加价并提供按 Model、User、API Key 查看 Token、费用与平均延迟的后台;这些属于平台计费与观测条件,不是模型能力分数。

我也不确定“连续五次取中位数”是否适合所有 Agent 场景。遇到突发流量,中位数会掩盖长尾。正式报告还是要给 P95,并把 429 的重试等待单独列出来。

建议每条日志至少保留这些字段:

字段用途
model锁定完整 model ID
schema_id定位失败用例
request_id追查网关与上游问题
raw_arguments复现 JSON 与字段错误
validation_error区分解析失败和业务失败
repair_rounds统计模型自修复能力
latency_ms计算 P50、P95
input_tokens/output_tokens重算真实成本

长上下文数据不能顺手嫁接

Google Antigravity CLI 的社区 Issue #1245 有用户报告,所谓 1M-context models 在约 250K 时提前压缩,点赞数为 31;#878 请求关闭自动压缩并释放完整 1M 上下文,点赞数为 23。

原始 Issue 标题在素材里已经截断:

[Bug]: Premature ~250K context compaction on 1M-context models drops exact symbo

这只是社区报告,没有得到官方确认,也没有证据表明问题适用于 google/gemini-4-argon。用它推导“该模型长上下文不行”站不住脚,更不能据此给工具调用准确率扣分。

同样,zexadev/gemini-web2api-go 的第三方仓库有 838 Star,只能说明社区关注度。Star 不是 Benchmark。openinterpreter/openinterpreter 的仓库描述提到 GLM 5.3,也替代不了正式模型卡或定价页。

我的选型结论

现在让我在 google/gemini-4-argon 与 z-ai/glm-5.3 之间直接挑一个,我不会选。不是说两款都不行,手上的证据还不够。

能落地的办法很直接:固定 120 组 Schema,每组重复 5 次,保存 1,200 次任务的原始工具参数和修复过程,同时记下毫秒级时间戳与实际账单,再按文中的公式计算。然后比较首次参数合法率、字段遗漏、P95 和单次成功成本,结果自然会告诉你谁更适合自己的 Agent。

别看着模型名拍板。参数能不能过,工具能不能跑,账单能不能重算,这些都对上了,天梯榜才有意义。

PCL 基于超体素的点云分割【2024最新版】 点云超体素分割原理介绍、代码实现以及如何做到将每一个超体素内的点进行单独保存而不造成点云缺失的方法。博客长期更新,本文最近一次更新时间为:2024年12月29日。 阅读详情

相关推荐

Ubuntu20.04系统笔记本网卡AX211无法找到wifi问题

之前电脑的系统是18.04基本上安装好了系统,可以直接连上wifi,在买了拯救者y9000p2022版本之后,因为网卡太新,安装ubuntu18.04或者20.04之后会没有wifi连接,非常不方便。于是上网找了各种帖子去解决这个问题。具体实现有所不同。 主要参考了这个帖子来解决的:http://t.csdn.cn/7807R 首先: sudo apt install flex bison 然后: git clone https://github.com/intel/backpor.

weixin_42825962的博客 1万+

大模型量化从0到1(八):GGUF 格式彻底解剖——llama.cpp 生态的基石

GGUF是一种专为本地大模型部署设计的文件格式,与量化算法(如AWQ/GPTQ)不同,它致力于将模型权重、结构、分词器等所有必要信息打包成单一文件,实现开箱即用的便捷体验。其核心优势在于: 自包含单文件:整合模型全部组件,避免多文件管理的繁琐。 跨平台兼容性:通过CPU优化和内存映射技术,支持笔记本、Mac等无GPU设备运行。 高效加载设计:文件结构分为元数据(键值对存储配置)和张量数据(分块量化权重),结合偏移定位实现按需加载,节省内存。 灵活量化方案:采用分块量化(如K-quant)和混合精度档位,平衡

weixin_49520696的博客 998

【若依(ruoyi)】BootstrapTable列宽定制实战:突破width属性限制的两种方案

本文针对若依(RuoYi)框架中BootstrapTable组件列宽设置失效的常见问题,提供了两种实战解决方案。通过CSS样式覆盖法强制定义列宽,或利用formatter函数进行动态HTML包裹,有效突破width属性限制,实现精准的表格列宽定制。

weixin_29013129的博客 175

Spring Boot 4 集成:@AiService、多模型路由与多租户隔离

Spring Boot 4.1.x 与 LangChain4j 1.23.0 集成需规避多租户数据串扰、模型路由僵化与降级缺失三大陷阱。推荐采用“配置→路由→隔离→降级”四层架构,优先手动 @Bean 确保可控性。通过可配置的多模型路由策略(按场景、租户、成本、健康度)实现精准调度,并结合 Resilience4j 实现熔断与降级,辅以可观测性设计,保障系统稳定性与可维护性。

weixin_43128865的博客 394

Hyper-V显卡直通实战:手把手解决Windows 11虚拟机错误码43(附完整参数配置)

本文详细解析了在Windows 11 Hyper-V虚拟机中配置显卡直通时遭遇错误码43的根源,并提供了从环境检查、核心PowerShell命令(如Set-VMGpuPartitionAdapter)配置到虚拟机内驱动替换的完整实战解决方案,帮助用户彻底解决显卡驱动无法加载的问题。

weixin_29238147的博客 906

生物信息学名词解释 | K-mer (长度为k的短序列)

K-mer 何谓K-mer 所谓Kmer,即为一段长度为k的DNA片段,是由测序reads剪切一部分得到的。k为一个奇数,k=几,就为几mer。 比如:我的测序reads长度为100bp,我将这100bp打断成17bp的短片段,打断后的17bp段片段就叫17mer,可以获得(100-17+1)条k-mer序列。 Table1 k-mers for GTAGAGCTGT. k k-mers 1 G,T,A,G,A,G,C,T,G,T 3 GTA,TAG,AGA,GAG,AGC,GCT,CT

qq_50637636的博客 2万+

spring boot 4集成SQLLite,及其SQLLite的建库

spring boot 4集成SQLLite,及其SQLLite的建库

weixin_41463944的博客 231

osgearth2.10 demo功能介绍

osgearth-2.10 demo: 说明: 1、运行环境win7 x64 旗舰版,CPU i5-6400 8核,8G内存; 2、括号内是对应demo的测试参数(.earth); 3、配置OSG_FILE_PATH; 4、参数命令行可以查看各个demo需要的输入参数; 5、前缀说明:gui界面程序、cmd控制台程序、non功能未知; 6、程序后括号里的non表示不需要通过命令行输入参数; 示例: 1、gui:osgearth_3pv(simple.earth):相机与地球的投影关系,Range表示相机

rach09的专栏 2425

ZeusSpring框架深度解析:基于Spring Boot的高效模块化企业级开发解决方案与实战指南

1.1 项目背景与定位在现代企业级应用开发中,如何在保证代码质量的同时提升开发效率,是每一个技术团队面临的核心挑战。ZeusSpring正是为了解决这一痛点而生。这是一个由开发者AichaelLee创建并维护的,基于Spring Boot生态的高度可扩展、模块化的开发框架。它并非简单的代码堆砌,而是对Spring Boot进行了深度的增强与封装,旨在为开发者提供一套“开箱即用”且架构清晰的基础设施。1.2 核心价值主张ZeusSpring的核心设计理念在于“模块化”与“高效”。

wulechun的博客 203

手把手教你解决Windows 10网络驱动器无法访问问题(附详细排查步骤)

本文详细指导Windows 10用户解决网络驱动器无法访问的常见问题。通过从现象快速定位到系统排查,提供了从检查网络连通性、修复凭据权限到调整高级设置的完整步骤,特别是针对“找不到网络路径”等错误,帮助用户高效恢复对共享资源的访问。

weixin_29233857的博客 520

用Pixel5玩转AOSP:从零开始定制Android13系统(含GMS集成方案)

本文提供了一份详尽的Pixel 5 AOSP定制指南,涵盖从环境搭建、源码下载、系统编译到刷机的完整流程。重点解决了原生AOSP缺失Google移动服务(GMS)的难题,分享了从官方镜像提取并集成GMS组件的实战方案,助你打造独一无二的Android 13系统。

sam99的博客 528

Spring Boot 和 Spring Cloud 是什么关系

Spring Boot 与 Spring Cloud 是协同关系,非替代或升级。Boot 负责单个服务的快速启动与配置,Cloud 则解决多服务间的注册发现、调用、容错等分布式问题。两者能力不重叠:Boot 管进程内,Cloud 管进程间。Cloud 组件基于 Boot 的自动配置机制实现,依赖版本严格匹配,不可随意升级。是否使用 Cloud,取决于是否有跨服务治理需求,而非项目规模。小系统或已用 K8s 可无需引入完整 Cloud。

2401_89855466的博客 246

Image Sensor常见分辨率下HTS,VTS设置

image sensor,HTS,VTS

propor的专栏 4980

Spring Boot 3.x 多模型统一接入实战:Spring AI 1.x 与 LangChain4j 选型对比

多模型统一接入层的本质,是把"模型"从一个 SDK 依赖变成一个可配置、可路由、可降级的运行时依赖。版本对齐是前提,Spring AI 2.0.x 与 Spring Boot 3.x 不共存,别照抄跨路线的依赖;协议兼容是杠杆,但"OpenAI 兼容"必须逐家核对,差异要显式管理而不是假装不存在;抽象层决定演进上限,接入层做对了,RAG、MCP、Agent 编排才是在其上叠加能力,而不是推倒重来。

m0_74899094的博客 324

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Java在线租房系统源码解析:Spring Boot+Vue 3+UniApp房源管理与预约看房方案

本文介绍一套基于Java、Spring Boot、Vue 3与UniApp的在线租房平台源码,涵盖租客端、房东端及管理后台三大模块,实现房源展示、在线咨询、预约看房、合同管理与审核治理等核心功能。技术架构清晰,支持多端部署,适用于区域租房平台、公寓运营及定制化开发项目。强调业务流程闭环与数据一致性,提供二次开发指导与验收标准,助力企业快速搭建自有品牌租房系统。

weixin_42648890的博客 231

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

ChatGPT、Codex并发排查:Spring Boot接口没有报错,为什么线程池队列越来越长,最后整批请求超时?

Spring Boot接口没有报错,CPU和数据库连接池也正常,为什么线程池队列却越来越长?本文从订单服务任务积压故障切入,分析无界队列、最大线程数、CallerRunsPolicy、下游阻塞和任务背压机制,并介绍通过Codex辅助定位线程池瓶颈的方法。

2601_96380027的博客 222

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Spring Boot 系统监控与可观测性

基础的 JVM 和 HTTP 指标看不出来 Outbox 是否出问题,所以 Study 服务里添加,通过Micrometer Gauge + 定时 SQL 统计监控事件状态。status状态含义0PENDING等待发送1SENDING已被某个发布器领取2SENTBroker 已确认并通过路由检查3FAILED达到最大重试次数,待人工处理",其他SENDING、`FAILED` 指标同理;实际代码里需要异常处理,避免指标采集影响业务调度。Gauge。

m0_64642997的博客 358

Java加油团油系统源码解析:Spring Boot+UniApp实现油站管理、加油支付与商家结算

本文介绍一套基于Java、Spring Boot、UniApp与Vue 3的加油团油系统,涵盖用户端找油站支付、商家端核验结算、平台后台管理三大模块。系统实现优惠支付、订单核验、多端协同与二次开发接口,适用于油站线上化、区域合作及会员运营场景,助力企业高效开展多站点运营管理。

weixin_42648890的博客 187

Spring Boot 升到 2.6 启动报错,循环依赖为何被默认禁掉

升到 Spring Boot 2.6 后,字段注入的循环依赖被默认禁掉,服务一启动就抛异常退出。排查按四步走,从异常类名一路定位到互相引用的字段代码。

昨日种种,皆成今我。今日种种,皆成新我。 281

ChatGPT、Codex工程实战:Kubernetes滚动发布时,Spring Boot正在处理的请求为什么还是会被中断?

本文从Java订单系统生产故障切入,分析Readiness Probe、EndpointSlice、preStop、SIGTERM、Tomcat优雅停机和terminationGracePeriodSeconds之间的关系,并介绍通过Codex还原Pod终止时间线、排查502和Connection reset的方法。

2601_96380027的博客 519

《基于Spring Boot的迷游哈游戏综合服务平台的开发》

本文设计并实现了一款基于SpringBoot的“迷游哈”游戏综合服务平台,解决玩家攻略分享与二手交易分散、信息杂乱、交易无保障等问题。系统采用B/S架构,支持普通用户、服务人员、管理员三类角色,具备攻略投稿审核、商品交易闭环、余额充值提现、在线客服与投诉工单处理等核心功能,实现内容共建、资金流转、售后保障等多维度业务闭环。技术栈主流(Java+Vue3+MySQL),模块清晰,开发难度适中,覆盖后端开发、数据库设计等核心知识点,兼具实用性与教学价值,适合作为本科毕业设计选题。

407

附录三从Spring Boot 3.5 到4.0 的迁移阅读地图

第一步,保留现有 Boot 3.5 代码线的测试基准,不在原始学习工程中同时混进新版本组件。第二步,建立明确的目标版本线,调整模块和包引用。第三步,重新验证默认提供、显式关闭、自定义实现退让和配置绑定。第四步,验证真实.imports发现路径,而不只是用测试runner手工把配置塞进上下文。手工导入测试能证明条件逻辑,却不能证明最终jar把资源打包到了正确位置。第五步,再检查下游应用的运行与测试依赖是否完整。

weixin_45476869的博客 225

开源实战:基于 Spring Boot 3 + Vue 3 + Redis 的高校选修课管理系统(志愿填报 + 统一抽签)

基于 Spring Boot 3 + Vue 3 + Redis 的高校选修课管理系统,选课采用「志愿填报 + 统一抽签」:填报期无锁提交,截止后一次性批算名额,公开 seed 可独立复算,逐志愿留有中签原因与投档顺位,R1 可退选、R2 锁定最终结果。附完整 GIF 与按角色分类的截图。

欢迎点赞 + 关注,开源项目见下方栏目 283

Spring Boot 常用注解 · 概要笔记

Spring Boot 常用注解 · 概要笔记

质量不太好的博客 289

基于Spring Boot和Vue的精简博客系统设计与实现

文章从草稿到发布,介绍精简博客的内容管理、分类标签、评论和角色权限,并提供Spring Boot与Vue的本地启动方法。

weixin_63587281的博客 176

Spring Boot 文件上传怎么做才安全?流式落盘、路径校验与数据库一致性实战

Spring Boot 文件上传不仅是接收 MultipartFile,还涉及文件大小限制、路径穿越、恶意文件、存储一致性和下载权限等问题。本文以业务附件上传为例,介绍 Multipart 配置、流式写入、SHA-256 摘要计算、文件类型校验及数据库元数据设计,并分析文件写入成功但数据库提交失败等异常场景,提供补偿机制、权限控制和测试建议。

代码不止,探索不息 568
上一篇: Codex CLI 提示 usage limits exceeded,第二天仍未恢复怎么办?最小排查顺序
下一篇: gpt-image-2.6-sunburst + OpenAI SDK + Cherry Studio 最全配置:尺寸、格式、异步轮询一篇就够
ofoxcoding
博客等级 码龄1年 167粉丝 85原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值