mobile agent学习笔记-1

mobile agent

Moblie-Agent-v2是阿里巴巴与北京交通大学共同提出的多代理协作有效导航的移动设备操作助手，该框架在ocr、开放式目标检测技术与多模态模型的基础上构建如上流程的多智能体系统来执行用户指令。

学习资料

• (论文)Mobile-Agent：https://arxiv.org/abs/2401.16158
• (论文)Mobile-Agent-v2：https://arxiv.org/abs/2406.01014
• (代码仓库)：https://github.com/X-PLUG/MobileAgent
• datawhaler文档：https://datawhaler.feishu.cn/wiki/S0SKwmgVbig5Sik2kJqcVuEsnPA
• https://github.com/modelscope/modelscope-agent
• https://mp.weixin.qq.com/s/S7gB7ROSEr21Ni2-BAJfpg

mobileagent使用

环境搭建

python环境

conda create -n mobile_dev python=3.10
pip install -r win_requirements.txt

android环境

• 下载android studio
• 安装android sdk

abd配置

adb_path = r"D:\work\AndroidOSEnv\Android\Sdk\platform-tools\adb.exe"

qwen_api配置

qwen_api = "sk-ee90eb730e644f3883a07040e4a4c003"

运行

python run.py

idea

通过mobile agent的能力实现企业微信的agent代理，操作一般性事务处理。

• 接收消息
• 请假销假
• 查阅信息

目前进展

• 仍在复现论文中的效果