南加大与Salesforce：CoAct-1让AI助手实现编

这项由南加州大学的宋林鑫等研究者与Salesforce研究团队合作完成的研究发表于2025年8月，详细介绍了一种革命性的计算机操作助手系统。有兴趣深入了解的读者可以通过论文网址CoAct-1访问完整研究内容。

想象一下，你有一个超级聪明的助手，不仅能像人类一样操作电脑界面，还能直接写程序来完成任务。这就是CoAct-1的魅力所在。传统的电脑助手就像一个只会用鼠标点击的新手，遇到复杂任务时经常手忙脚乱，而CoAct-1就像一个既会用图形界面又会编程的高手，能够选择最合适的方式来解决问题。

这项研究的意义远不止技术突破。在日常办公中，我们经常需要进行大量重复性操作，比如整理文件、处理数据表格、批量修改图片等。这些任务用传统的点击方式需要很多步骤，容易出错，而CoAct-1能够智能选择是用界面操作还是写代码，大大提高效率和准确性。研究团队在OSWorld这个权威测试平台上验证了系统性能，结果显示CoAct-1达到了60.76%的成功率，远超之前的最佳记录，同时将平均完成任务的步骤数从15步减少到仅10.15步。

这种混合式的工作方式就像一个经验丰富的工匠，既知道什么时候该用精细的手工操作，什么时候该使用自动化工具。当面对需要精确视觉判断的任务时，系统会选择传统的界面操作；当遇到大量数据处理或文件管理任务时，系统会编写程序来快速完成。这种智能选择机制让计算机助手变得更加实用和可靠。

一、CoAct-1的核心创新：三个专业助手的完美配合

CoAct-1的设计理念就像组建一个高效的工作团队，每个成员都有自己的专长，通过协作来完成复杂任务。这个团队由三个关键角色组成，它们各司其职又密切配合。

首先是指挥官角色，在系统中被称为"编排者"（Orchestrator）。这个角色就像项目经理一样，负责理解用户的需求，将复杂的任务分解成更小的子任务，然后决定每个子任务应该交给谁来完成。编排者不能直接操作电脑，但它能够全局把握任务进展，根据当前情况做出最佳的任务分配决策。这就像一个经验丰富的主厨，知道什么时候该用平底锅，什么时候该用烤箱，从不直接动手烹饪，但能确保整道菜完美呈现。

第二个角色是程序员助手（Programmer），这是CoAct-1的核心创新之一。传统的电脑助手只会点击和输入，而程序员助手能够编写Python和Bash脚本来直接与操作系统交互。当编排者将任务分配给程序员助手时，它会开始一个独立的对话过程，与代码解释器进行多轮交互。程序员助手会根据任务需求编写代码，然后将代码发送给操作系统执行，获得执行结果后还能根据反馈进行代码调整和改进。这个过程就像一个专业的程序员在工作，能够处理文件管理、数据处理、系统配置等复杂任务。

第三个角色是界面操作员（GUI Operator），负责处理需要视觉判断和精确操作的任务。当编排者认为某个子任务更适合通过图形界面完成时，就会将任务交给界面操作员。这个助手能够理解屏幕上的各种元素，进行鼠标移动、点击、键盘输入等操作。界面操作员就像一个熟练的电脑用户，能够准确识别按钮、菜单和输入框，完成各种界面交互任务。

这三个角色之间的配合机制非常精妙。编排者会根据任务的性质和复杂程度来决定分配策略。对于需要大量重复操作的任务，比如批量重命名文件或处理数据表格，编排者会优先选择程序员助手，因为代码执行速度快且不容易出错。对于需要精确视觉判断的任务，比如在复杂界面中找到特定按钮或处理图像编辑，编排者会选择界面操作员。

更重要的是，这个系统具有很强的适应性。每次子任务完成后，执行者会向编排者汇报结果和当前系统状态。程序员助手会提供一个简洁的任务总结，而界面操作员会返回