文章总结与翻译
一、主要内容
本文针对当前缺乏评估LLM智能体在真实工作场景中任务表现的客观基准问题,提出了一个名为“TheAgentCompany”的可扩展基准测试平台。该平台模拟了小型软件公司的工作环境,包含内部网站、数据及多种职业场景任务,旨在衡量AI智能体执行真实世界专业任务的能力。
核心构成
- 环境设计:基于开源软件构建独立可部署环境,包含GitLab(代码托管)、OwnCloud(文件共享)、Plane(任务管理)、RocketChat(团队沟通)四大核心工具,还原职场协作场景。
- 任务体系:涵盖175个多样化专业任务,涉及软件工程、项目管理、财务分析、人力资源等多个岗位,任务拆解为可量化的检查点(Checkpoints),支持部分得分评估。
- 评估机制:采用双指标评估——完全完成率(全检查点通过)和部分完成率(结合进度与全完成奖励),同时记录任务步骤数和计算成本,兼顾效果与效率。
- 实验设置:基于OpenHands和OWL-RolePlay两种智能体框架,测试12种主流LLM(包括闭源模型如Gemini 2.5 Pro、Claude 3.7 Sonnet,开源模型如Llama 3.1、Qwen 2.5等)的表现。
关键发现
- 最优模型Gemini 2.5 Pro仅能自主完成30.3%的任务,部分完成率
订阅专栏 解锁全文
1322



被折叠的 条评论
为什么被折叠?



