文章主要内容与创新点总结
一、主要内容
- 研究背景:多模态大语言模型(MLLM)驱动的智能体在静态视觉任务中表现出色,但在验证码(CAPTCHA)这类交互式、多步骤推理任务中能力未得到充分验证,而验证码是阻碍Web智能体实际部署的关键瓶颈。现有基准测试要么过滤掉验证码,要么将验证码视为静态感知任务,忽略其交互性和序列决策需求。
- 核心贡献:
- 提出Open CaptchaWorld,首个基于Web的开源验证码基准测试平台,用于评估MLLM智能体的视觉推理与交互能力。
- 引入CAPTCHA Reasoning Depth(验证码推理深度)指标,量化解决每个验证码所需的认知和操作步骤,实现任务无关的复杂度评估。
- 构建包含20种现代验证码类型(共225个样本)的数据集,支持多步骤交互(如拖拽、序列点击、滑块对齐等),并提供真实浏览器测试环境。
- 对主流MLLM模型(如Openai-o3、GPT-4.1、Gemini2.5-Pro等)进行零样本评估,发现最优模型成功率仅40.0%,远低于人类的93.3%,并分析了模型失败的三类典型模式(视觉感知不足、精细操作失效、策略误导)。
- 实验结果:
- 模型性能与成本存在显著权衡,Openai-o3成功率最高但单轮评估成本达66.4美元,Gemini2.5-Pro性价比更优。
- 模型在基础视觉感知任务(如动物选择、图像匹
订阅专栏 解锁全文
1325



被折叠的 条评论
为什么被折叠?



