[使用大模型进行-移动端自动化尝试] AppAgent介绍

已于 2024-11-21 14:14:41 修改
阅读量2k 收藏 17
点赞数 16
文章标签： 自动化
于 2024-09-12 11:40:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qadnkz/article/details/142167352
版权

AUITestAgent



AUITestAgent/README_zh.md at main · bz-lab/AUITestAgent (github.com)

1/MobileAgent

X-PLUG/MobileAgent: Mobile-Agent: The Powerful Mobile Device Operation Assistant Family (github.com)

2/AppAgent

AppAgent/README.md at main · mnotgod96/AppAgent (github.com)

Changelog

[2024.2.8]:增加了qwen-vl-max(通义千问-VL)作为备选的多模态模型。该模型目前可以免费使用，但与GPT-4V相比，性能相对较差。
[2024.1.31]:发布AppAgent测试过程中使用的评测基准
[2024.1.2]:🔥增加了一个可选的方法&#

最低0.47元/天 解锁文章
09-Python工程师-移动端自动化
03-05
Python工程师-APP实战思维导图，便捷整理思路，Android开发工具环境安装，Android开发工具使用，uiautomator，adb版本的升级
Agent系列：AppAgent v2-屏幕智能Agent(详解版)
ljp1919的专栏
01-01 1428
随着多模态大语言模型（MLLM）的发展，视觉智能体（Agent）正逐渐在软件界面中，尤其是图形用户界面（GUI）中，发挥重要作用。本文设计了一个专为移动设备打造的智能体框架，该框架基于大语言模型，能够在移动设备上导航并模拟用户交互行为。AppAgent v2 通过构建灵活的动作空间，增强了其在不同应用程序中的适应性，支持解析器、文本和视觉描述的结合。智能体的工作分为两个阶段：探索（Exploration）和部署（Deployment）。
大模型能自己玩手机了！腾讯提出AppAgent杀疯了！网友：这就是未来吗？
阿木寺的博客
12-28 593
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【视觉和Transformer】微信交流群扫码加入CVer学术星球，可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，以及最前沿项目和应用！发论文搞科研，强烈推荐！转载自：机器之心这就是2024年的新趋势吗？近日，一项名为 AppAgent 的创新技术引起了广泛关注。简单来说，AppAgent 的智能...
西湖大学提出AppAgentX：“偷懒”也能高效？让Agent像你一样操作手机
zenRRan的博客
03-06 602
这是一篇关于GUI代理的论文，非常值得看，核心思想是：如何让AI代理像我们一样熟练地操作智能手机界面（GUI），而不是像机器人一样笨拙地一步步点击。想象你每天都要在手机上重复同样的操作，比如打开某个App、搜索某个内容。如果每次都要一步步点击，那得多累啊！传统的基于规则的自动化系统虽然快，但它们缺乏智能，遇到新情况就傻眼了（比如突然弹出一个广告，它就懵了）。而基于大语言模型（LLM）的代理虽然聪明...
炸了！腾讯开源！AppAgent：AI大语言模型实现自主玩手机！
赵KK的博客
01-31 1914
2024年第一个工作日，带来腾讯开源多模式代理AppAgent,以后APP完全自动化或可实现，结合AI大模型应用，能做的事情更多，完全开放想象。
AI模型部署到移动端原理与代码实战案例讲解
AI智能涌现深度研究
07-21 402
AI模型部署到移动端原理与代码实战案例讲解 1. 背景介绍 1.1 问题的由来 随着移动互联网的普及，越来越多的应用场景需要AI模型进行实时处理，以提供快速响应和精准服务。然而，传统的服务器端AI模型往往受限于计算资源、带宽和延迟的要
AppAgent 内存泄漏问题总结与反思
所有内容都已迁移到 https://huqijun.org
03-25 840
1.      原因分析   使用鱼骨图梳理该问题，可以发现主要是以下几个原因造成的： 一． 测试策略方面的失误          AppAgent 企业通讯录功能，对不同的终端有不同类型的接口，我们经常提及的是移动客户端，话机，话务台。TR5前测试制定测试策略时， 由于不具备测试话机企业通讯录接口性能工具， 且测试话机接口需要比移动终端更多的物料（需要多配置网关和SIP号码），故决策Ap
AI测试｜颠覆客户端UI自动化？别担心，你还不会失业！AppAgent框架简单试用
伤心的辣条
12-28 2604
近日，腾讯团队发表了一篇论文，并开源了一款基于大语言模型的，用于手机端执行复杂任务的多模态智能代理框架——AppAgent。该框架设计的初衷，是让 AI 智能体能自己操作手机，完成特定的任务，这一创新技术引起了广泛关注。
震撼：AppAgent让移动App应用测试更轻松
伤心的辣条
12-26 1573
AppAgent 的创新技术值得我们测试人员的关注。
全网最详细最划算的保姆级配置开源项目AppAgent教程
qq_43118243的博客
01-31 2115
第一行:OpenAI的接口地址 本人使用的是第三方中转平台第二行:你的OpenAI Key第三行:唯一可识别图片的模型第七行和第八行:手机内必须先手动创建 用于存放所分析的截图 和 xml分析文件。
AppAgent
whaosoft143ai的博客
12-23 793
在部署阶段，代理遵循逐步方法，每一步都包括获取当前用户界面的屏幕截图和一个动态生成的文档，详细描述了用户界面元素的功能和当前用户界面页面上动作的效果。AppAgent 的多模态学习框架，结合自主探索和观察人类演示的方式，使其能够快速适应和掌握新应用，无论是处理复杂的图像编辑任务，还是导航复杂的社交媒体平台。AppAgent 的核心在于其创新的学习方式。其创新的多模态框架和有效的探索策略，不仅验证了 AppAgent 的实用性，还为智能代理在理解和操作多样化智能手机应用方面的研究提供了宝贵的见解和基准。
智能车载系统-移动端app源码.zip
最新发布
03-16
智能车载系统移动端 APP 源码简介 这款智能车载系统移动端 APP 源码，是车载智能领域的重要学习资源。它为开发者提供了探索车载应用开发的宝贵素材，涵盖了丰富的功能模块与技术实现逻辑。 在代码架构上，遵循行业...
HTML-移动端APP注册登录页面模板
06-01
移动端APP注册登录页面模板通常包含了HTML、CSS（Cascading Style Sheets）和JavaScript等技术，为开发者提供了一个基础框架，可以在此基础...只需根据实际需求进行调整和个性化设置，就能快速融入到自己的移动应用中。
详解Vue-cli webpack移动端自动化构建rem问题
08-27
至此，一个完整的 `Vue-cli` + `webpack` 移动端自动化构建 rem 解决方案已经设置完成。这样，无论设备屏幕尺寸如何变化，你的项目都能以合适的比例显示，提高了用户体验。继续学习和实践这些技术，对于提升移动端...
2024-移动端期末大作业医院小程序【功能很完整】.zip、uni-app
11-27
2024_移动端期末大作业医院小程序【功能很完整】.zip、uni-app 部分功能 ： ## 设置 PC 端医生数据管理功能 本项目是一个医疗服务小程序，其中最主要的业务数据就是“医生”。 通过浏览各种医院小程序的医生信息页面...
利用 AI大模型 控制手机，终于有人实现且开源了！
同学小张的博客
10-15 2397
我将从MetaGPT这个Android助手Agent出发，学习和拆解 AI + Android手机 的工作原理和实现过程，帮助大家从零开始入门这一方向，拓展下AI应用场景的视野。
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
丨汀、的博客
07-25 7836
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
AppAgent 开源项目安装与使用指南
gitblog_00448的博客
08-12 709
AppAgent 开源项目安装与使用指南 项目地址:https://gitcode.com/gh_mirrors/ap/AppAgent 目录结构及介绍 在解析 AppAgent 的代码库之前，让我们先了解其基本目录结构和相关重要组件： 目录结构概览 . ├── appagent # 主要的应用逻辑所在目录 │ ├── src # 源码...
安卓手机APP自动化测试环境搭建指南
在进行手机APP自动化测试之前，我们需要搭建一个适合自动化测试的环境。以下将对手机APP自动化环境搭建的相关知识点进行详细说明。 首先，我们需要了解什么是手机APP自动化环境。简单来说，手机APP自动化环境就是指...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值