从PC到通用,聊聊PC-Agent、Manus、Owl、OpenManus ...

阿里智能Agent决策系统:技术解密与行业赋能 阿里智能Agent系统正在引发"决策革命",其价值不仅在于效率提升(平均节省30%决策时间),更在于创造新的商业可能性。随着多模态大模型(如通义千问)的深度集成,未来决策系统或将具备战略级洞察能力,成为企业真正的"数字合伙人"。这场变革的核心,是将人类经验与机器智能深度融合,开启人机协同决策的新纪元。传统企业决策依赖人力经验,存在响应滞后、信息孤岛、学习成本高等痛点。一、智能决策系统的必要性:从人工经验到AI驱动。3.执行反馈层(自动化-人机协同-闭环优化)2.决策运算层(拆解-推演-优化) 阅读详情

观看地址:观看地址:qingkelabs.github/io/talks

与手机相比,PC 场景的复杂性体现在两方面:

  • PC的图形界面包含了更密集多样的可交互元素,以及不同布局的文本;
  • PC常用于生产力场景,涉及更多复杂的App内及跨App工作流。

针对这一问题,来自阿里通义实验室的研究员们提出了面向复杂PC任务的多模态智能体框架 PC-Agent,可以根据用户指令实现对计算机软件(例如Chrome,Word,微信等)的自动控制。其主要包括:

  • 设计主动感知模块实现对屏幕内容的精细感知和操作;

  • 提出层次化多智能体协作结构;

  • 构建了涉及8个常用应用的复杂指令集以更好地评估智能体在复杂任务上的表现。

安装使用

  • 下载代码库
git clone https://github.com/X-PLUG/MobileAgent.git
  • 进入PC-Agent的文件目录下,安装运行PC-Agent的环境依赖
cd MobileAgent/PC-Agent/

# For MacOS
pip install -r requirements.txt
# For Windows
pip install -r requirements_win.txt
  • 运行PC-Agent
python run.py --instruction="Create a new doc on Word, write a brief introduction of Alibaba, and save the document." --api_token='Your GPT-4o API token.'

3月15日上午11点,青稞Talk 第41期,阿里通义实验室高级算法工程师张熙,将直播分享《PC-Agent:面向复杂 PL 任务的多模态智能体框架》。

分享嘉宾

张熙,博士毕业于中科院自动化研究所,目前担任阿里通义实验室高级算法工程师,负责多模态智能体Mobile-Agent等工作。在国际顶级期刊和会议TPAMI/TIP/CVPR/ACM MM/TMM/TCSVT等发表论文,曾获得CCL BEST Demo、China MM BEST Paper、VCIP BEST Student Paper、中科院院长奖等,担任多个顶级会议与期刊Reviewer,并在开源社区Github获得236k star。

主题提纲

PC-Agent:面向复杂 PL 任务的多模态智能体框架

1、PC 场景的复杂性
2、多模态智能体框架 PC-Agent
3、样例展示及应用实践
4、探讨-下:Manus/Owl/OpenManus …

直播时间

3月15日(周六) 11:00 -12:00

PC Agent:开源 AI 电脑智能体,自动收集人机交互数据,模拟认知过程实现办公自动化 PC Agent 是上海交通大学与 GAIR 实验室联合推出的智能 AI 系统,能够模拟人类认知过程,自动化执行复杂的数字任务,如组织研究材料、起草报告等,展现了卓越的数据效率和实际应用潜力。 阅读详情

相关推荐

OWL:优化型员工学习框架深度解析与复现指南

OWL 的核心理念在于模仿人类的协作模式,将复杂任务分解为可执行的子步骤,并通过拥有不同角色的智能体之间的劳动分工来完成这些子步骤。这不仅指任务的执行,更强调了在交互过程中不断改进和提升的能力,模仿人类员工在实践中积累经验、优化流程的模式。“通用多智能体辅助” (General Multi-Agent Assistance) 则强调了OWL作为一种普适性框架的能力,它通过模块化设计、多样化的工具包支持以及与模型上下文协议 (MCP) 的集成,实现了跨不同领域和应用需求的适应性,而非局限于特定类型的任务。

Rhett_Butler0922的博客 1324

PC-Agent:用AI「接管」你的电脑!这个开源神器让复杂操作一键自动化

你是否想过,只需一句自然语言指令,就能让电脑自动完成文件整理、数据分析、网页操作甚至代码调试?今天介绍的,正是这样一个将科幻场景变为现实的AI工具。它像一位全能的“数字管家”,能理解你的需求并直接操控计算机完成任务,彻底告别重复性操作!

weixin_62427272的博客 1万+

PC-Agent:基于多智能体协作的下一代桌面自动化系统

PC-Agent通过创新的多智能体协作架构,在桌面自动化领域实现了质的突破。其价值不仅体现在任务成功率的显著提升,更重要的是构建了具备持续进化能力的智能执行体系。随着企业数字化转型进入深水区,这种兼具认知能力和执行可靠性的自动化系统,正在重新定义人机协作的边界。PC-Agent作为新一代桌面自动化解决方案,通过引入。

这里汇聚了前沿的技术分享与实用的开发技巧,带你探索从创意到企业的技术创业之路。 828

上海交大与 GAIR 重磅力作 PC - Agent:重塑个人电脑智能交互技术架构

在人工智能技术蓬勃发展的当下,人们对于电脑操作的智能化、自动化需求日益增长。传统的电脑操作方式在面对复杂任务和频繁重复操作时,往往显得效率低下且耗费人力。上海交通大学与 Generative AI Research Lab (GAIR)联合推出的 PC - Agent 应运而生,为解决这些问题带来了新的曙光。它旨在通过模拟人类认知过程,实现电脑操作的自动化和智能化,极大地提升用户的工作效率和使用体验。

寻道AI,探索AI无限可能! 1392

C++开发基础之掌握常用的三种异步编程模型

以上是三种常见的C++异步编程模型,每种模型都有其适用的场景和特点。根据具体需求,你可以选择合适的模型来进行异步编程。

dotnet研习社 2177

codesys多协议通信之OPC UA通信

测试不易,转载请注明出处!

weixin_44243068的博客 3638

解锁PCAgent:AI驱动的自动业务运行新时代,颠覆你的认知(第一课)

通过本文的介绍,我们深入了解了 PCAgent 借助 AI 智慧大脑实现自动业务运行的强大能力。从打破传统操作模式的概念创新,到详细的部署步骤,再到丰富多样的应用场景,PCAgent 展现出了在提升工作效率、解放人力方面的巨大潜力。其主动感知模块和层次化多智能体协作结构的设计,为复杂任务的自动化执行提供了坚实的技术支撑。

www376422613的博客 937

CAB单片机开发指南

CAB单片机开发使用指南,IDE安装及烧录注意事项

Zoebuxiangtian的博客 1558

阿里PC-Agent重构人机交互,精准拆解跨应用指令,自动化办公更进一步

PC-Agent团队 投稿量子位 | 公众号 QbitAI面向复杂PC任务的多模态智能体框架PC-Agent,来自阿里通义实验室。从Office到浏览器,跨APP工作流都可以交给AI来完成了。指令1(翻译):在记事本应用程序中,打开“文档”中的“备忘录”文件,查看上午的第二项活动。在时钟应用程序中,在该活动开始前1小时设置闹钟。指令2(翻译):在文件资源管理器中,打开“文档”中的“旅行计划”文件,...

量子位 632

Pulpino SoC中挂载AXI从机接口的自定义IP说明

AXI 从机接口挂载 Pulpino SoC 调试Pulpino SoC中挂载AXI从机接口的自定义IP说明PULPion SoC介绍自定义AXI IP挂载IP挂载框图代码修改脚本修改自定义AXI IP调试C语言编写软件调试硬件调试 Pulpino SoC中挂载AXI从机接口的自定义IP说明 本篇文章主要从工程的角度描述了如何将具有AXI从机接口的自定义IP挂载到Pulpino SoC上,其中不涉及到SoC中的任何原理知识。 PULPion SoC介绍 PULPion SoC整体架构如下图所示, PULPi

小陈的芯片学习之路 2211

浅显易懂地看LLC变换器(三)

第3期 谐振与增益的定性关系 由简单的谐振电路说起 我们将以电感和电容的基本电路的特性逐渐了解谐振电路的特性 与电阻不同,电感和电容都不是纯阻性线性器件,电感的感抗XL和电容的容抗Xc都与频率有关,当加在电感和电容上的频率发生变化时,它们的感抗XL和容抗Xc会发生变化。 1) 如下图RL电路,当输入源Vin的频率增加时,电感的感抗增大,输出电压减小,增益Gain=Vo/Vin随频率增加而减小。 2) 如下图RC电路,相反,当输入源Vin的频率增加时...

iFTrue电力电子专栏 6743

PC-Agent:智能自动化新篇章,开启数字世界认知之旅

PC-Agent:智能自动化新篇章,开启数字世界认知之旅 项目核心功能/场景 利用AI实现自主电脑操作,完成复杂任务。 项目介绍 PC-Agent是一个创新性的框架,旨在通过人类认知转移赋予数字Agent自主能力。该项目由多个关键组件构成,包括用于大规模人机交互数据收集的PC Tracker,将原始交互数据转化为认知轨迹的认知补全后处理管道,以及结合决策规划Agent和视觉定位Agent的多Age...

gitblog_00509的博客 996

信号处理中的滤波器的阶数和谐波的理解

最近在读paper的时候,遇到了一些以前遗忘的问题,先重新查找,记录在这里,以备不时之查看。 我相信一定有小伙伴跟我有过一样的疑惑,那就是我们在使用滤波器的时候,总是遇到滤波器的阶数这个概念参数,我们很多都是根据别的paper里的设置,设置自己的科研参数,其实并不是很理解其中的含义: 其实我们常用的阶数N的意思是: 滤波器的阶数,就是指过滤谐波的次数,一般来讲,同样的滤波器,其阶

Miracle.Zhao的博客 2万+

PC-Agent开源项目安装与配置指南

PC-Agent开源项目安装与配置指南 1. 项目基础介绍 PC-Agent是一个旨在通过模拟人类认知过程来增强自主数字代理的新型框架。它通过将人类计算机交互数据转化为认知轨迹,进而实现代理的自主任务执行。该项目主要使用Python编程语言。 2. 项目使用的关键技术和框架 PC Tracker:用于大规模人类计算机交互数据收集的轻量级基础设施。 Cognition Completion:后处理...

gitblog_00653的博客 1129

python中视觉检测怎么将多个面拍照的图片合成一个3d图像,用什么技术或者什么模型?

🏆本文收录于 《全栈Bug调优(实战版)》 专栏,该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因,并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者,还是拥有多年项目经验的资深工程师,本专栏都将为你提供一条系统化、高质量的问题排查与优化路径,助力你加速成长,攻克技术壁垒,迈向技术价值最大化与职业发展的更高峰🚀!

**My Coding Family** 710

性能测试能力提升-线程、并发、吞吐量、TPS、QPS、响应时间

接着上一篇的知识:性能测试能力提升-关于性能测试,本篇文章,我们将主要介绍以下几方面的知识: 线程数&并发用户数 相对并发&绝对并发 吞吐量 TPS&QPS 响应时间

程序员小杨哥的博客 4589

AI智能体工具:AutoGLM、MobileAgent、Claude compute use、PC-Agent

用AI智能体自动处理完成任务。

weixin_42357472的博客 1235

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

PC-Agent项目教程

PC-Agent项目教程 1. 项目目录结构及介绍 PC-Agent项目的目录结构如下: PC-Agent/ ├── agent/ # 包含多智能体系统的参考实现 │ ├── main.py # 主程序文件,用于启动智能体系统 │ └── server/ # 包含模型部署的参考脚本 ├── assets/ # 存储项...

gitblog_01012的博客 894

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

刘鹏飞老师组研发PC Agent,让 AI 替你熬夜做 PPT

来自:机器之心LLM所有细分方向群+ACL25/ICML25/NAACL25投稿群->LLM所有细分领域群、投稿群从这里进入!本文共同第一作者为上海交通大学 ACM 班的三年级本科生何彦衡,金嘉禾,两人均为 GAIR 实验室成员,指导老师为刘鹏飞副教授。上海交通大学生成式人工智能实验室 (GAIR Lab)的主要研究方向为:大模型的复杂推理,大模型预训练中的数据工程,多模态大模型,以及智能体...

zenRRan的博客 839

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

PC-Agent-E:项目的核心功能/场景

PC-Agent-E:项目的核心功能/场景 项目介绍 PC-Agent-E 是一个高效 Agent 训练框架,旨在通过显著的数据效率提升计算机使用能力。该项目通过四个关键组成部分实现其目标:轨迹收集、思维补全、轨迹增强和 Agent 训练。这些组件共同工作,以最小的数据集训练出能够高效执行计算机任务的 Agent。 项目技术分析 PC-Agent-E 的技术框架采用了一系列先进的方法来优化 Age...

gitblog_00699的博客 535

PC-Agent:一种用于PC复杂任务自动化的分层多智能体协作框架

在基于多模态大语言模型(MLLM)的GUI智能体领域,与智能手机相比,PC场景不仅具有更复杂的交互环境,还涉及更复杂的跨应用工作流程。为了解决这些问题,我们提出了一种名为PC-Agent的分层智能体框架。具体来说,从感知的角度,我们设计了一个主动感知模块(APM)来克服当前MLLM在感知屏幕截图内容方面的不足。从决策的角度来看,为了更有效地处理复杂的用户指令和相互依赖的子任务,我们提出了一种分层多智能体协作架构,将决策过程分解为指令-子任务-动作层级。

栖客 1567

APP、PC、API和UI自动化测试的顶级框架架构设计以及TestinAgent的使用

Testin XAgent通过AI Agent+多模态大模型效率革命:测试设计速度提升数十倍,支撑敏捷开发快速迭代质量跃升:通过百万级路径探索,缺陷发现深度远超传统方法成本重构:释放测试人力至更高价值活动,优化企业ROI该系统的落地标志着软件测试进入"自主智能"时代,为金融、制造、智能驾驶等领域的数字化转型提供了关键质量保障基础设施。

主攻大数据 人工智能 物联网 安全 低空经济等方向。mtsc 、gtest特邀分享嘉宾 1860

Manus开源了,使用OWL 3分钟打造自己的ai员工!(保姆级教程)

基于Playwright框架,页面滚动、点击、输入、下载,甚至历史回退,统统不在话下,简直就是浏览器里的“自动驾驶”!OWL智能体,一款功能强大、开源免费的国产AI神器,不仅能帮你提高工作效率,还能拓展你的能力边界。内容转文本、转Markdown,分分钟的事儿!网页界面使用Gradio构建,在你的本地机器上运行,除了你配置的模型API调用所需的数据外,不会向外部服务器发送任何数据,安全可靠!:无论是网上的视频、图片,还是本地的音频文件,OWL都能轻松处理,帮你提取关键信息,再也不用对着一堆素材发愁了!

lizhijianwill的博客 2075

小白也能懂!Agent如何“看见”并操作电脑?收藏这份操作指南

2026 年春节前后,国内大模型迎来史无前例的集体爆发与同台竞技。短短不到一个月,主流厂商几乎全部登场:字节跳动 Seedance 2.0 刷屏科技圈,各大互联网公司纷纷推出 AI 红包新玩法,一场场精心准备的“大模型春晚”轮番上演,吸引无数 AI 爱好者围观喝彩👏。大模型赛道竞争如此激烈,普通人到底该怎么入局,抢占未来 10 年的行业红利?如果你还不知道从何开始,我特别整理了一套全网最全、最细的大模型零基础教程。我也是一路自学走过来的,太清楚小白前期学习的痛点:没人带、没方向、没资源,真的很难学进去!

大模型教程的博客 958

实战解析:借助LangChain、RAG及多智能体协同构建新一代知识问答机器人(含Python代码及前沿协议展望)

​ 本文将带你深入探索这个激动人心的技术前沿,通过详细的Python代码实战和步骤讲解,一步步揭秘如何利用LangChain、RAG技术以及多智能体协作的理念,打造一个具备高级知识检索与问答能力的下一代机器人。我们不仅会展示核心组件的实现,还将探讨如何融入A2A/MCP等前沿协议的设计思想,展望其在构建更强大、更智能的AI系统中的广阔应用前景。无论你是AI开发者、产品经理,还是对前沿科技充满好奇心的探索者,这篇文章都将为你打开一扇通往未来智能知识交互的大门。准备好了吗?让我们一起启程,见证并参与这场AI赋能

weixin_72959097的博客 1175

OWL 项目与多智能体系统(MAS)的区别与联系分析

CAMEL(Communicative Agents for “Mind” Exploration of Large Language Model Society)是一个基于大语言模型(LLMs)的多智能体协作框架,旨在通过角色扮演和动态交互探索智能体之间的协作与竞争行为。其设计灵感来源于人类社会的分工协作模式,通过为智能体分配特定角色(如程序员、交易员等),并借助引导提示(Inception Prompting)机制,让智能体在协作中自主分解任务、优化策略,最终完成复杂目标。

TaloyerG的博客 890
上一篇: 基于 LightLLM 实战部署 DeepSeek R1/V3 模型
下一篇: NVIDIA开源FP8训练新范式COAT:减少40%显存占用,训练速度提高1.4倍
青稞AI
博客等级 码龄2年 599粉丝 190原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值