2025_NIPS_RiOSWorld: Benchmarking the Risk of Multimodal Computer-Use Agents

一、文章主要内容

本文针对多模态大语言模型（MLLM）驱动的计算机使用代理在真实场景中存在的安全风险评估缺口，提出了名为RiOSWorld的基准测试框架。该框架包含492个风险任务，覆盖网页、社交媒体、办公软件等多类应用，将风险划分为环境风险（如钓鱼网站、弹窗广告）和用户源风险（如恶意指令、隐私泄露）两大类，从“风险目标意图”和“风险目标完成度”两个维度评估代理安全性。实验对10个主流MLLM代理（包括GPT、Gemini、Claude等系列）进行测试，发现当前代理普遍存在风险意识薄弱问题，总意图不安全率达84.93%，完成度不安全率达59.64%，凸显了计算机使用代理安全对齐的紧迫性。

二、创新点

1. 覆盖全面的风险场景：首次整合13个风险子类别，涵盖环境与用户源两大风险类型，突破现有研究仅聚焦单一风险或缺乏真实环境的局限。
2. 双维度评估体系：同时关注代理的“风险意图”和“风险完成度”，避免仅评估单一维度导致的片面性，更贴合真实使用场景。
3. 高保真实验环境：基于虚拟机搭建可交互的真实计算机环境，支持动态威胁部署（如钓鱼邮件、验证码验证），解决传统QA式评估与真实环境脱节的问题。
4. 大规模多模型验证：对10个主流闭源/开源MLLM代理及专用计算机使用代理（如UI-TARS、OpenAI Operator）进行测试，验证结果的通用性和可靠性。

---

三、核心部分翻译（Mark