让 AI 拥有“主观能动性”!
清华&面壁团队最新提出了开创性的下一代主动 Agent 范式!
当前,哪怕是 ChatGPT 等最先进的 AI Agent 都是传统的被动式 Agent(下图 1 左侧所示),即需要用户通过明确的指令显式告诉 Agent 应该做什么,Agent 才能继续执行接下来的任务。
而近期清华大学联合面壁智能等团队提出了开创性的新一代主动 Agent 交互范式(ProActive Agent),为 AI 交互带来了突破性的解决方案(下图 1 右侧所示)。
这一新范式下的 Agent 不再是简单的指令执行者,而是升级成为了具有"眼力见"的智能助手。它具备"眼中有活、主动帮助"的主观能动性,能够主动观察环境、预判用户需求,像"肚子里的蛔虫"一样,在未被明确指示的情况下主动帮用户排忧解难,主动 Agent 实现了从"被命令"到"会思考"的质的飞跃。

▲ 图1. 两种人类与智能体交互形式的比对。左侧的被动式 Agent 只能被动接受用户指令并生成回复,而右侧的主动式 Agent 可以通过观测环境主动推断与提出任务。

➤ 论文链接:
https://arxiv.org/abs/2410.12361
➤ 代码链接:
https://github.com/thunlp/ProactiveAgent
为了更清晰地理解这一技术突破的意义,我们可以通过以下表格来详细分析对比两种范式的本质区别:

主动 Agent 交互范式在日常生活中有丰富的应用潜力,以下是一些近期预想可实现的场景:

01.主动Agent交互范式应用场景demo演示
场景1:在一段情侣聊天的场景中,男生邀请女生一起要在周六去环球影城并于早上八点来接女生,当 Agent 获取用户授权之后随时保持在线的“候命状态”,当 Agent 通过上下文聊天内容实时识别到女生的需求,在没有用户明确下指令的情况下,Agent 主动帮女生定了一个周日早上七点的闹钟用来提醒起床。
场景2:当用户在电脑上接收到一份重要文件时,Agent 主动帮用户把文件存到了本地,并自动识别出 PDF 文件第一页显示的标题然后帮用户把文件名进行了重命名。
该研究除了提出以上开创性的主动 Agent 之外,还通过采集不同场景下的人类活动数据构建了一个环境模拟器,进而构建了数据集 ProactiveBench,通过训练模型获得了与人类高度一致的奖励模型,并比对了不同模型在数据集下的性能。
02.主动Agent技术原理
下图展示了主动 Agent 技术原理的整体流程。为了让智能体能够主动提出任务,该研究设计了三个组件以模拟不同场景下的环境信息,用户行为和对智能体提出任务的反馈。

▲ 图2. 数据生成过程总览。该过程包含了初始环境与任务设置,事件生成,主动预测,用户判断和行动执行。
其中:
1. 环境模拟器模拟了一个特定环境,并为智能体的交互提供了一个沙盒条件。模拟器通过使用基于 Activity Watcher 软件采集到的真实人类数据以提升生成事件的质量。
环境模拟器的主要功能为事件生成与状态维护:通过使用 GPT-4o 从人类注释员处收集的种子事件以生成一个需要交互的具体环境,同时生成所有相关实体以让智能体执行任务。
对于每个场景,环境模拟器接收用户活动并生成详细的,逻辑通顺合理的事件,环境模拟器将会持续生成事件,更新实体状态,产生特定反馈,直到当前环境下没有更多事件以供生成。
2. 主动智能体将会通过环境模拟器提供的信息预测用户意图,生成预测任务。每当智能体接受一个新事件后,它将首先更新自己的记忆,结合用户之前的反馈和历史交互信息,主动智能体将能够结合用户性格提出可能的任务。
如果主动智能体没有检测到需要,其将保持静默,反之将会提出一个任务。一旦此任务被用户接受,那么主动智能体将在环境模拟器中执行该任务,并进而产生后续的系列事件。
3. 用户智能体将模拟用户行为并对主动智能体的任务做出反馈。用户智能体为经过提示的 GPT-4o,在获取预测之后,用户智能体将会决定是否接受任务。该研究通过从人类标注员处收集判断,并训练一个奖励模型以模拟这一过程。
人类标注员在研究开发的标注平台上进行标注,对特定时间下,9 个不同的大语言模型生成的多样化预测进行判断,并通过多数投票的方式决定某个回合用户是否具有需求,以及用户倾向于接受什么类型的任务。值得一提的是,人类标注员在测试集上达到了 91.67% 的一致性,充分说明了测试集的可靠性。
03.主动Agent实验研究
该研究提出了一套度量方式衡量奖励模型和人工标注员的一致性。
需求遗落 (MN):人工标注认为需要帮助而奖励模型认为无需帮助。
静默应答 (NR):人工标注和奖励模型都认为无需帮助。
正确检测 (CD):人工标注和奖励模型都认为需要帮助。
错误检测 (FD):人工标注认为无需帮助而奖励模型认为需要帮助。
在这四个度量方式上进行召回率、精确度、准确度和 F1 分数的计算,从结果上看,所有的现有模型都在正确检测上表现良好,但对于其他指标则性能较差。现有模型倾向于接受智能体的任务,尽管可能毫无助益。相对的,该研究训练的模型性能最优,因此被选为 ProactiveBench 的奖励模型。

▲ 图表3. 不同模型作为奖励模型的评测结果。研究展示了模型与人工标注员多数投票结果之间的一致性。在 LLaMA-3.1-instruct-8B 微调的模型取得了最好结果。
通过奖励模型,可以进一步衡量主动智能体的性能表现。该研究在不同的模型上进行了评估,并将模型预测的结果交由奖励模型进行评价。
从结果上看,闭源模型会倾向于主动提出任务而不能在用户无需帮助时保持静默,模型提供的任务往往过于抽象或无用,以至于产生较高的误报率。
对于开源模型,经过数据集训练的模型明显更优,这证实了研究数据合成流水线的有效性。同时,经过训练的模型也在误报率上有了明显的下降,尽管提供不必要的帮助的情况仍然存在。

▲ 图表4. 不同模型在 ProactiveBench 数据上的评测结果。GPT-4o 在闭源模型中脱颖而出,对于开源模型,基于 Qwen2-7B 微调的结果取得最好成果。
研究同样进行了消融学习以研究提出任务数量和用户反馈对于智能体性能的影响。通过让模型提出多个可能的任务并一一进行判断,所有的模型在指标上都有明显的上升。
通过给予模型来自奖励模型的反馈,所有的模型误报率都有所下降,准确度有所上升,但在召回率的表现上有明显下降。通过结合奖励模型,主动智能体可以更好的检测用户需求,降低误报率。

▲ 图表5. 基准线,多任务预测,获取反馈之间的比较。结果表明所有的模型都有所提升。模型的误报率由于接受预测的可能性更高或被奖励模型改进而显著下降。
结语
该研究提出了创新的人类-智能体交互方法即主动 Agent(ProActive Agent)范式,有望将 AI 从被动的工具转变为具有洞察力和主动帮助的智能协作,从而开启人机交互新范式。
这一技术革新不仅将改变我们与 AI 交互的方式,更有望为大众群体创造更加包容和便利的智能化生活环境。随着技术的不断进步,我们可以期待看到更自然的人机协作模式,更智能的场景适应能力,以及更深度的个性化服务。
➤ 论文链接:
https://arxiv.org/abs/2410.12361
➤ 代码链接:
https://github.com/thunlp/ProactiveAgent
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

主动Agent范式革新AI交互及大模型AI学习指南
1264

被折叠的 条评论
为什么被折叠?



