Claw-Eval与Claw-Eval-Live：革新Agent评测，让基准贴近现实工作流

你确定Agent真的做了？

在Claw-Eval之前，主流Agent评测只看最终结果判对错，存在只看结果不看行动、难反映真实部署要求两大致命问题。Claw-Eval把Agent评测从「只看答案」推进到「看行动」，包含300道人工验证任务，定义2,159个评分细则，用执行轨迹、服务端审计日志、执行后的环境快照三条证据链打分，还将完成度等纳入评测框架，实验表明不看过程会系统性高估模型。

「评得准」还不够，benchmark也会过时

Claw-Eval解决「评分可信」问题，但任务集合固定，在Agent评测里，工作流不断变化，benchmark测的任务组合可能偏离用户需求，这是Claw-Eval-Live要解决的问题。

「活的」benchmark到底长什么样？

Claw-Eval-Live核心是信号层和发布层两层分离设计。信号层从公开workflow demand signals出发确定关注的工作流；发布层是固定带时间戳的snapshot，模型可稳定比较、学术可复现。两层通过五阶段流水线连接，MILP让release构建透明。当前公开release有105道任务、22个任务家族、13个前沿模型，任务分两大执行环境，评分沿用Claw-Eval证据锚定原则。

当benchmark真正贴近现实，我们看到了什么？

13个前沿模型在当前release上整体天花板低，无模型突破70%通过率，榜首到末尾差距22.9个百分点，真实工作流自动化远未到「可靠部署」阶段。通过率相近的模型完成度差异大，问题在执行闭环。真正困难的是HR / People等业务任务，当前Agent主要瓶颈是跨系统操作。

「说得好」不等于「做得到」

Claw-Eval-Live排名与通常聊天/写作benchmark排名不同，奖励跨系统证据收集等能力。

再多看一眼部署视角：成本同样重要

从部署角度，估算API成本差异大，部署团队更应考虑「具体workflow家族上的准确率 × 成本」。

从Claw-Eval到Claw-Eval-Live，到底推进了什么？

Claw-Eval把Agent评测从「只看结果」推进到「看过程」，证明不看过程会高估模型；Claw-Eval-Live把评测从「静态题库」推进到「与真实需求共同演化的任务快照」，揭示对齐现实工作流后的瓶颈。这两步对Agent部署都很重要，前者为评测打基础，后者让benchmark跟上现实。