digirl：打造野外环境下的设备控制Agent

digirl：打造野外环境下的设备控制Agent

digirl Official repo for paper DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning. 项目地址: https://gitcode.com/gh_mirrors/di/digirl

项目介绍

digirl 是一项基于自主强化学习（Autonomous Reinforcement Learning）的开源项目，致力于训练在野外环境下进行设备控制的智能Agent。该项目旨在通过自动化的课程设置和双重稳健估计器筛选，提高设备控制Agent的智能水平和适应能力。digirl 的研究成果已在 ICML 的 FM Wild 范畴中进行口头报告，并公开了相关论文和代码。

项目技术分析

digirl 的技术核心是利用强化学习的方法，在野外环境下对设备控制Agent进行训练。项目包含两个主要训练算法：

1. DigiRL：结合自动课程设置和双重稳健估计器筛选。
2. Filtered Behavior Cloning：基于奖励的筛选方法。

项目支持三种训练模式：

• 离线训练：使用预收集的次优轨迹进行训练。
• 在线训练：Agent与环境交互并在线学习。
• 离线转在线训练：先使用预收集数据学习，再与环境交互并开始在线学习。

此外，digirl 支持两种Agent：AutoUI 和 CogAgent。其中，AutoUI 同时支持训练和评估，而CogAgent目前只支持评估。

项目技术应用场景

digirl 的应用场景主要针对Android设备，在野外环境下进行任务执行，如日常浏览、打开应用、网上购物等。项目提供了两种Android-in-the-Wild任务集：

• AitW General：通用浏览，打开应用。
• AitW Web Shopping：在热门购物网站上购物。

此外，digirl 还支持多机器并行仿真，以及DDP多GPU训练，以满足不同规模和性能需求。

项目特点

环境特性

• 自动错误处理支持：自动适应错误处理。
• 多机器仿真并行支持：支持多机器并行仿真。
• 检查点续训支持：支持检查点续训。
• 轨迹视频录制支持：支持轨迹视频录制。

方法特性

• 训练算法：两种训练算法，DigiRL 和 Filtered Behavior Cloning。
• 训练模式：三种训练模式，离线、在线以及离线转在线。
• Agent支持：支持两种Agent，AutoUI 和 CogAgent。
• 任务集支持：支持两种Android-in-the-Wild任务集。
• 多GPU训练：支持DDP多GPU训练。

通过这些特性，digirl 能够为研究者和开发者在野外环境下设备控制领域提供强大的工具和平台。

总结

digirl 作为一个基于自主强化学习技术的开源项目，其核心功能是为野外环境下的设备控制Agent提供高效的训练方法。通过灵活的环境配置、多样的训练模式和强大的多GPU支持，digirl 为用户提供了强大的设备控制解决方案。无论是对于研究者还是开发者，digirl 都是一个值得尝试和探索的项目。在当前智能设备日益普及的背景下，digirl 的出现无疑为设备控制领域带来了新的机遇和可能性。

digirl Official repo for paper DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning. 项目地址: https://gitcode.com/gh_mirrors/di/digirl