在智能手机深度融入日常生活的今天，用户对设备智能化的需求已从简单指令响应升级为复杂任务自主完成。这种背景下，能够理解多模态输入、规划操作路径并执行复杂任务的智能代理，正成为移动AI技术突破的关键方向。尤其在Android系统占据全球70%以上移动设备市场份额的格局下，构建高效、可靠的Android智能代理不仅是学术研究的热点，更关乎数亿用户的实际体验升级。
【免费下载链接】androidgen-glm-4-9b 
项目地址: https://ai.gitcode.com/hf_mirrors/THUDM/androidgen-glm-4-9b
当前主流研究多依赖闭源大语言模型（LLMs）或多模态模型（LMMs）构建Android代理，这些模型凭借强大的自然语言理解能力解析用户需求并生成操作序列。然而现有方案存在显著局限：静态测试环境难以模拟真实使用场景的动态变化，多数基准测试依赖固定设备状态和任务序列，导致评估结果与实际应用存在偏差。例如某知名研究团队提出的测试框架，要求设备必须处于预设的应用界面才能启动任务，这种"实验室条件"下的最优表现，在用户随机操作后的设备状态中往往大幅下降。
虽然AndroidEnv等仿真工具尝试解决交互性问题，但在环境多样性和实验可重现性方面仍有提升空间。更关键的是，当前研究过度依赖闭源模型的API调用，研究者无法深入模型内部机制进行优化，导致Android代理的训练方法和推理逻辑长期停留在"黑箱"阶段。这种依赖不仅限制了算法创新，更阻碍了开源社区共同推进技术进步，形成"数据垄断-模型优势-生态壁垒"的行业困境。
针对这些核心挑战，清华大学与华为联合研发的AndroidLab平台应运而生。这一集成化研究框架通过标准化操作环境、可重现的基准测试和高质量指令数据集三大支柱，为Android智能代理的开发与评估提供了全方位支持。其创新价值在于：首次实现文本与图像模态的统一操作空间，构建覆盖真实使用场景的评估体系，并通过开源数据集缩小了开源模型与闭源模型的性能差距。
如上图所示，AndroidLab平台以"Phone Use研究平台"为核心理念，采用模块化设计整合操作环境、基准测试和训练工具。这一架构充分体现了"环境-评估-优化"一体化的研究范式，为AI研究者提供了从算法设计到性能验证的完整工作流。
AndroidLab的核心创新在于构建了跨模态统一的操作环境，既能支持纯文本输入的LLMs，也能兼容图文输入的LMMs，通过两种精心设计的操作模式实现模型能力的公平比较：
XML模式专为文本模型优化，采用压缩后的界面元素描述作为输入。系统会自动解析当前界面的UI树结构，将可交互元素（如按钮、输入框、列表项）转化为标准化XML标签，包含元素类型、位置坐标、文本内容等关键属性。模型通过分析这些结构化数据，直接输出目标元素的唯一标识符和操作类型（点击、输入、滑动等）。这种设计大幅减少了视觉信息转化为文本描述的信息损失，在保持输入简洁性的同时，确保了操作指令的精确传达。实验数据显示，经过压缩优化的XML表示比原始UI树数据量减少60%，但关键操作信息保留率达98%以上。
SoM（Set-of-Mark）模式则为多模态模型打造，在屏幕截图上为每个可交互元素叠加唯一数字标记。系统通过计算机视觉算法自动识别界面中的按钮、图标等控件，生成包含标记编号的增强图像，同时辅以元素的文本描述和空间关系说明。模型在接收图文输入后，通过标记编号指定操作对象，实现"所见即所得"的精确交互。这种方法解决了多模态模型在复杂界面中定位目标的难题，某测试显示在包含50个以上控件的购物应用界面中，SoM模式使模型的元素识别准确率提升至95.3%，较传统坐标定位方式降低72%的错误率。
为提升复杂任务的执行能力，AndroidLab还实现了两种推理增强框架：ReAct框架采用"思考-行动"循环机制，模型在输出操作前先生成自然语言推理过程，如"需要先打开设置应用，因为用户要求修改通知权限"，这种显式推理有效减少了操作偏差；SeeAct框架则将推理与执行分离为两轮交互，先规划完整操作步骤，再逐一执行，在需要严格遵循操作规范的场景（如系统配置）中表现出更高的步骤准确率。两种框架的对比实验表明，在包含5个以上子目标的任务中，ReAct框架的成功率比SeeAct高出18.7%，但操作步骤平均增加2.3步。
评估体系的科学性直接决定研究结论的可信度，AndroidLab基准测试通过精心设计的任务集和多维指标，实现了智能代理性能的全面刻画。该基准覆盖通讯、社交、电商、工具等9类共138个真实应用场景，每个任务均包含2-5个子目标，形成层次化的评估结构。例如"订购咖啡"任务被拆解为：打开外卖应用→搜索咖啡店→选择商品→填写收货地址→完成支付，系统通过XML树结构匹配和界面状态比对，自动验证每个子目标的完成情况。
为确保实验可重现性，AndroidLab采用三重保障机制：固定设备配置（基于Pixel 7 Pro的标准化硬件参数）、预设系统状态（统一的应用版本和用户数据）、时间锁定机制（禁用网络时间同步避免时区差异）。所有任务的初始界面和环境参数均通过区块链技术存证，研究者可精确复现任意实验结果。某国际研究团队使用相同任务集验证显示，AndroidLab的实验结果变异系数仅为3.2%，远低于行业平均的11.7%。
在评价指标方面，AndroidLab突破传统单一成功率的局限，构建了四维评估体系：任务完成率（SR）衡量最终目标达成情况，要求所有子目标全部完成才算成功；子目标成功率（Sub-SR）细化评估每个步骤的完成质量，反映模型的渐进式学习能力；反向冗余率（RRR）通过对比模型操作路径与人类最优路径的长度，评估操作效率，计算公式为"人类步骤数/模型步骤数×100%"，数值越高代表路径越优；合理操作比率（ROR）则判断每次点击、输入是否符合界面逻辑，如点击空白区域或重复提交视为无效操作。这种多维度评估使研究者能全面分析模型的优势与不足，例如某模型可能SR较高但RRR偏低，表明能完成任务但操作冗余，需优化路径规划能力。
高质量数据是训练高性能Android代理的基础，AndroidLab团队构建的Android Instruct数据集通过"自动探索+人工精修"的创新模式，解决了传统数据构建成本高、覆盖不全的问题。该数据集包含726条完整操作轨迹和6000余个步骤，覆盖系统设置、社交应用、生活服务等12个应用类别，每条轨迹均标注操作意图、界面状态变化和子目标完成情况。
数据集构建采用三阶段流程：首先基于学术数据集和人工编写的种子任务，使用GPT-4生成多样化的任务指令，经领域专家筛选后保留1500条有效指令；然后启动自动探索引擎，采用强化学习方法让基础模型在仿真环境中尝试完成任务，系统记录所有操作轨迹并通过奖励模型评分，筛选出成功率高于60%的优质轨迹；最后进行人工标注，专业标注员使用定制工具审核每条轨迹，修正错误步骤、补充操作理由、标注界面元素属性，平均每条轨迹花费45分钟精修，确保数据质量。
这种混合构建方法实现了规模与质量的平衡：自动化探索解决了数据覆盖问题，人工精修保证了关键步骤的准确性。与纯人工标注相比，成本降低60%的同时，任务场景覆盖率提升3倍。实验验证显示，使用该数据集微调的Llama-3.1-8B模型，在陌生任务上的迁移能力比使用普通对话数据训练的模型提高42%。
在AndroidLab平台上进行的大规模实验，揭示了智能代理开发的关键技术突破和未来方向。通过对比11种主流模型在标准化环境中的表现，研究团队得出多项重要发现：
在XML模式测试中，闭源模型GPT-4-1106-Preview以31.16%的任务成功率领先，但开源模型经Android Instruct数据集微调后表现出显著进步。其中Llama-3.1-8B-Instruct的成功率从2.17%跃升至23.91%，GLM-4-9B-Chat从4.59%提升至21.01%，与闭源模型的差距缩小60%以上。特别值得注意的是，开源模型的合理操作比率（ROR）普遍超过85%，表明其界面理解能力已接近商业模型水平，主要差距体现在长程规划和异常处理方面。
多模态测试的SoM模式呈现相似趋势，GPT-4o以31.16%的成功率和107.45的反向冗余率展现综合优势，但Claude-3.5-Sonnet在操作效率上更胜一筹，其RRR达113.40，意味着平均操作步骤比人类专家仅多7%。开源多模态模型表现亮眼，Llama-3.2-11B-Vision-Instruct微调后的ROR达92.57%，证明视觉信息确实能帮助模型更精准地定位目标元素，尤其在文本信息缺失的图标界面中优势明显。
设备适配性测试揭示了一个关键发现：代理在标准尺寸设备（Pixel 7 Pro/8 Pro）上的成功率比小屏（Pixel 3a）和折叠屏（Pixel Fold）分别高出27.4%和31.8%。进一步分析表明，小屏设备因显示内容有限导致频繁滚动操作，折叠屏的横屏模式则带来控件布局变化，两种情况均要求模型具备更强的空间推理能力。这提示未来研究需加强模型对多样化设备形态的适应能力，而非仅针对标准化测试环境优化。
框架对比实验显示，ReAct推理机制在复杂任务中表现突出，在包含4个以上子目标的场景中，采用ReAct的模型成功率比基线方法提高29.3%，但操作步骤增加15.6%。研究者认为这是"深思熟虑"带来的必然代价，通过后续的路径优化算法有望在保持推理质量的同时减少冗余步骤。而SeeAct框架在需要精确遵循操作流程的任务（如银行APP转账）中仍有应用价值，其结构化步骤规划可降低合规风险。
AndroidLab平台的推出，标志着智能设备代理研究从碎片化探索进入系统化发展阶段。该平台通过标准化操作环境解决了实验不可比问题，凭借可重现的基准测试建立了客观评估体系，依托高质量指令数据集推动了开源模型的性能跃升。实验数据清晰表明，开源模型在经过针对性微调后，完全能缩小与闭源模型的差距，这为构建开放、透明的智能代理生态奠定了基础。
未来研究将沿着三个方向深化：一是开发动态环境适应技术，使代理能应对应用更新、系统升级等真实场景变化；二是构建多轮对话增强的交互模式，支持用户通过自然语言实时调整任务目标；三是探索轻量化模型方案，让中端设备也能运行高性能智能代理。随着这些技术的突破，我们正迈向"设备懂你所想，操作替你完成"的智能交互新纪元，AndroidLab正是打开这一未来的关键钥匙。
通过AndroidLab平台，开发者可直接获取标准化环境和评估工具，研究机构能专注算法创新而非环境构建，终端用户将更早享受到智能代理带来的便利生活。这种"开放协作-技术突破-体验升级"的良性循环，必将加速移动AI的技术革新，最终实现从"人适应设备"到"设备适应人"的范式转变。
【免费下载链接】androidgen-glm-4-9b 项目地址: https://ai.gitcode.com/hf_mirrors/THUDM/androidgen-glm-4-9b
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
