operator: openai CUA agent原理介绍

原创 2025-01-24 23:45:01 4.2k 阅读 AI写同款

硅星纯牛码

1万+粉丝52篇原创

关注

AI进化！OpenAI 推出“超级AI助手”有多强？跟Claude的“Computer Use”有何不同？ CUA能够像人一样思考，理解用户指令，并将复杂的任务分解成多个步骤。正是这些核心技术的结合，让CUA具备了 “看懂” 网页、 “思考” 操作步骤、以及 “执行” 操作的能力，从而让 Operator 能够完成各种复杂的任务。CUA具备强大的视觉识别能力，能够像人类一样“看懂”电脑屏幕，理解屏幕上的内容和元素，还能进行复杂的逻辑推理，将任务分解成多个步骤，并逐步完成。Operator可以模拟人类的鼠标和键盘操作，在网页上进行点击、滚动、输入等各种操作，与网页进行交互，跟人类操作一样，无需API接口。阅读详情

AI摘要

OpenAI发布计算机使用agent模型Operator，结合GPT - 4o视觉与强化学习推理能力。介绍其工作原理，包括监督和强化学习两阶段训练及感知、推理、行动迭代循环。还进行了性能测试，用OSWorld和WebArena评估，同时实施多层次安全措施应对潜在风险。

继去年10月底Anthropic发布Claude 3.5的computer use能力之后，OpenAI在今年1月24日也发布了计算机使用agent（Computer-Using Agent, CUA）模型——Operator。这一模型结合了GPT-4o的视觉能力和通过强化学习获得的高级推理能力，能够解释截图并与图形用户界面（GUI）进行交互。它不仅能够执行日常任务，如在线购物、预订餐厅或购买活动门票，还能够在用户的指导和监督下完成更复杂的任务。

工作原理

Operator模型的训练过程包括监督学习和强化学习两个阶段。监督学习阶段教会模型如何感知计算机屏幕并准确点击用户界面元素，而强化学习阶段则赋予模型更高层次的能力，如推理、错误纠正和适应意外事件。
在这里插入图片描述
接收到用户的指令后，CUA通过一个整合了感知、推理和行动的迭代循环来操作：

感知：计算机的屏幕截图被添加到模型的上下文中，提供了计算机当前状态的视觉快照。
推理：CUA使用思考链（chain-of-thought）来推理下一步，考虑到当前和过去的屏幕截图以及动作。这种内部对话通过使模型能够评估其观察结果、跟踪中间步骤并动态适应，从而提高了任务执行的性能。
行动：它执行动作——点击、滚动或输入——直到它认为任务完成或需要用户输入。虽然它自动处理大多数步骤，但对于敏感操作，如输入登录详细信息或响应验证码表单，CUA会寻求用户确认。

性能测试

CUA的性能包括perception, reasoning, manipulation, long-horizon reliability, safety等方面。OpenAI分别使用OSWorld和WebArena两个benckmark评估operator agent在Computer Use和Browser Use方面的能力。