轻松搭建AI版“谁是卧底”游戏,muAgent框架让知识图谱秒变编排引擎,支持复杂推理+在线协同...

muAgent团队 投稿
量子位|公众号QbitAI

全新Agent框架,将知识图谱从知识获取来源直接升级为Agent编排引擎。

蚂蚁集团推出muAgent,兼容现有市面各类Agent框架,同时可实现复杂推理、在线协同、人工交互、知识即用四大核心差异技术功能。

这套框架目前在蚂蚁集团内多个复杂DevOps场景落地验证,同时可通过快速搭建的创新AI文本游戏“谁是卧底”游戏快速感受一下。

站在当前视角,LLM大模型能很好的解决通用单步任务(如SQL生成)、单步工具使用(如天气查询),但实际现实中的场景却是复杂多步骤的,尤其面向严谨专业私有领域,LLM只能给出泛泛而谈的答案(包括ChatGPT),面向C端体验用户可能问题不大,面向B/P端实际生产时却往往用处不大。

蚂蚁团队认为大模型就像才毕业的名校博士,具备优秀的基础素养,但却无法面向特定领域进一步学习,能够面向特定领域给出完善的任务规划决策。LLM能逐步协助人来解决问题或者Agent能实际解决问题,核心在于PLANNER推理能力。

不同领域专家核心竞争力在于行业的长久沉淀,面向专业领域复杂问题的处理经验

人面向专业复杂事务处理具备丰富的经验,人的经验从哪里来?两部分:

  • 老人带新人,特定问题、手把手教=>教会新人面向问题该如何处理

  • 自我的摸索,文档阅读、交互探索,最终形成一条成功路径存于脑中

53e55aaeb14992e9c6ea765fa1374007.png

muAgent基于LLM+EKG(Eventic Knowledge Graph行业知识承载)驱动,协同MultiAgent、FunctionCall、CodeInterpreter等技术,通过画布式拖拽、轻文字编写,让大模型在人的经验指导下帮助你完成各类复杂多步任务。

muAgent整体架构

为了实现复杂多步流程SOP(Standard Operating Procedure)自动化,先来看SOP的构成。拆开抽象,任何任务流SOP的推进本质由三部分组成“经验”+“工具”+“人物”,衔接LLM推理,实现整体三者的有机结合。

经验:面向特定专业领域,复杂任务是如何操作处理?流程步骤是什么?
工具:在流程推进中,周边工具的使用,使用什么工具?如何使用工具?
人物:在流程推进中,周边人物的咨询,找谁(人、智能体)?问什么?

4020946142d036703d178969c10837b2.png

为此,muAgent整体的架构大图如下,和业界Agent框架定义对标,包含Planner、Memory和ActionSpace三大核心模块,以及Diagnose的调试监控和Interface的产品界面。

  • Planner即之前提及的“经验”

  • Memory结合Planner即“人物”

  • ActionSpace结合Planner即“工具”

6502b426d26d30cbdd151e02e96f9752.png

为方便理解,接下来通过“谁是卧底”这一AI文本游戏串联整个流程的介绍。通过简易画布拖拽加上轻文字编写,即可实现这一游戏的快速体验。中间的流程即刚才提及的“经验”,下方深紫框即“工具”,上方浅篮框即“人物”。

e27ffce5ea503ba937392c1278467c09.png

muAgent中的经验模块

存储结构

面向不同行业、不同类型的工作流/SOP,该如何抽象统一,能够比较好地设计schema来存储经验知识?古语有云“授人以鱼不如授人以渔”,即应该设计存储“过程经验”,而非“结果经验”。相比存储状态结果,更应该告诉大模型如何来做一件事获得结果。例如相比于僵化的告知大模型今天天气如何,更合适的做法是教会大模型如何去查询天气。muAgent设计了“场景意图+事件流程+组织人物+统一工具”四大类节点,可满足不同场景所需的SOP经验承载。如下图所示。

3973e23c38d60d7a24c3612c8a300f6c.png

由于任务流通常天然呈现为图或者树结构,因此muAgent采取图数据库来承载经验的存储。相比传统的RAG,或者微软的GraphRAG—-更多的是把知识图谱KG作为一个数据的来源—-muAgent直接把KG升级作为编排引擎。通过“拖拉式”“轻文字”编写实现特定领域复杂SOP的沉淀以及SOP的自动化。

经验获取

有了经验的存储设计,就像有了人脑,接下来要解决知识的获取构建问题。muAgent提供两种经验构建能力。第一种是刚才提及的通过产品侧画布式轻文字编写;第二种是面向海量的存量文档,muAgent具备自动化抽取的能力,能将普通文本和流程图自动抽取转换为图谱结构。对于抽取的部分信息错误或者信息缺失,通过简易的编辑调试即可获取完善的SOP经验。

f6b82141750710ec9df6a4e90ab288fa.png

由于图谱的引擎设计自然继承了图谱的能力实现,在承载经验的同时,muAgent提供“经验拆分”和“经验合并”的能力。

经验拆分:

我们期望模型具备一定的泛化能力,而不是告诉什么回答什么(类似DiFY固定僵化的任务流,同时不同于AutoGPT纯随机发散的推理),举个例子,当沉淀了“杭州旅游行程规划”后,那么应该抽象出“旅游行程规划”,在面对“北京旅游行程规划”的Query问题时,也应该能很好的作答。再发散一点,抽象原子经验“酒店订购、车票订购、餐饮选择”,那么在面对“北京差旅行程规划”时也能利用好原子经验进行回答!类似于告诉人一个特定问题的解决思路的时候,他会举一反三,我们期望拥有原子经验的模型也具备这一能力。为此muAgent提供“经验拆分”,通过“现象-任务-判断-结论”这一四段论的形式,结合下一小节的推理能力,实现在人的经验指导下的发散推理。

经验合并:

一千个人读哈姆雷特有一千个看法,如同盲人摸象,录入承载的经验更像是一个抽象类的具象化,更好的做法是将不同共建的经验合并来提供事物本质的模样。以旅游车票订购为例,距离较远的人会沉淀经验“车票订购-飞机”,距离较近的会沉淀“车票订购-高铁”,本地游的会沉淀“车票订购-地铁”,将这几个经验对齐合并,才能完整的形成原子经验“车票订购”。

经验推理

有了经验的知识存储,接下要解决知识的利用推理问题。推理方面muAgent整体包含两大模块:

意图识别:

面向多层意图,支持“顺序+直接”意图定位;面向不同问题,支持意图分类(执行OR咨询);面对模糊意图,支持反问用户以得到信息补充。

  • 顺序OR直接定位:面向多层意图不同场景所需,可逐层顺序意图找寻,也可向量匹配+模型精筛直接匹配定位(面向意图描述设计不清场景)

  • 执行OR咨询确认:不同场景Query意图不同。以天气查询为例,当用户问“帮我查一下杭州天气”时,muAgent会执行整个任务流,以获取最终的结果给出输出;当用户问“如何查看杭州天气”时,muAgent只会返回任务节点的流程步骤,而不做实际的经验执行,这一实现也可广泛应用于日常业务中老人带新人和答疑咨询等场景

图谱推理:

基于用户沉淀经验,协同FuncCall,面向不同类型用户问题,多路推理(执行OR问答)。

  • 游走推理:针对用户Query,LLM大模型按照节点文本描述、关系链接和属性配置实际执行任务节点(包括和工具、人物交互),并针对不同结果输出决策:是否本节点继续任务执行或者往下游节点推进(支持多分枝和循环)

  • 发散推理:针对用户Query,自我编排推理。给予拆分出的原子经验,针对当前现象选择类似经验参考决策执行(支持Few-shot发散),并面向输出结果/新现象,循环思考执行(新的原子经验参考)

  • 图谱问答:针对用户Query,大模型基于已经沉淀的图谱数据,自动检索相关内容,并以自然语言的形式回答用户问题(即KGQA,KnowledgeGraphQuestionAnswer)

e7b8c16827230402022ef53fd52ac397.png

muAgent中的人物模块

人物构成

在任务流/经验推进的过程中,避免不了和“人物”的交互。muAgent中对人物的构成整体上可以分为三类:“智能体”、“用户人”、“企业人”。在谁是卧底的场景中,我们已经感受到了“用户人”和“智能体”,在这统一做下介绍和说明。

  • 智能体:在谁是卧底游戏中只是简易的Prompt+LLM,在实际场景应用中,可以多层嵌套。Agent本身即是一套由muAgent构建的,赋予经验、工具和人物的能力;方便于企业级的团队协作场景,比如开发智能体、测试智能体、运维智能体等,在外还有一层整体任务流控制智能体。

  • 用户人:设计之初主要面向于需要人参与体验互动的流程推进,比如AI文本游戏中的玩家。也可用于在线指导教学等场景,需要“用户人的输入”才可继续流程推进。

  • 企业人:主要面向企业流程设计,包含“企业员工”和“组织架构”两部分。在实际中,不是所有能力都能被抽象量化为API接口,很多场景(比如任务审批流)还是需要人的参与审核、沟通,企业人的纳入,即需要咨询特定的人给出明确回复后才能继续推进。组织架构的纳入主要服务于人员变动,可以往上进一步追溯咨询。

401a22a82c9752d9bffcb9008351d111.png

4.2.人物交流

什么是多Agent/MultiAgent框架?核心在于多Agent信息交互的实现。多Agent信息交互即多Agent讨论模式。

基于人类交流讨论的模式,muAgent抽象归纳出8种讨论模式,可同时满足不同场景信息隔离诉求(全部/部分/单独可见)。

  • 公开咨询:由主持人公开咨询不同Agent回答

  • 公开通知:由主持人公开通知不同Agent信息

  • 私下咨询:由主持人私下咨询不同Agent回答

  • 私下通知:由主持人私下通知不同Agent信息

  • 顺序发言:由主持人触发Agent顺序公开回答

  • 同时发言:由主持人触发Agent同时公开回答

  • 自由讨论:由主持人触发Agent自由公开讨论

  • 私下讨论:由主持人触发Agent自由私下讨论

这里又可以归结为两大类问题,信息通信(我能、应该看到什么信息?)和信息加工(我如何能更好的看到信息?),muAgent可通过属性的简单配置和边的链接来实现不同的场景需求。接下来,我们将通过谁是卧底的案例带大家整体认知下不同的信息通信模式。

信息通信

公开通知:座位分配环节每个人都知道对方的座位在哪,由主持人统一分配,同时不需要针对分配结果给出回复。muAgent通过任务节点-信息隔离属性的“公开”设置实现。

eeff07d8803d444928eaf4b469616ad2.png

私下通知:单词分配环节每个人只知道自己分配到的单词,主持人统一分配且知道每个人的单词,针对分配单词不需要给出回复。muAgent通过任务节点-信息隔离属性的“私有”设置实现。

1aaec8be965f94dbfd243a7bdcbf21d0.png

顺序发言:分享讨论环节,主持人根据分配座位号,以及现场存活的人员,制定接下来发言的顺序,然后实际发起每个人的分享(需回复),每个人知道其他人的回复。这里新增一个工具使用模式的设置,将在工具章节详细介绍。

7f6161e6fc1162b118a59a10674258ae.png

信息加工

有了良好的信息通信的实现保障不同场景所需,接下来的问题就是怎么让人更好的看到信息。举个大家都会遇到的场景,突然被拉入一个群聊被艾特一个问题,需要从很长的历史长下文中梳理出我到底要干什么?那么有没有更好的方式,直接把上下文总结提炼好了从而一眼就能知道我要干什么?这就是信息加工模块存在的必要性。这里提供3种信息加工的模式(通过属性设置来实现),分别如下:

  • 信息检索:找寻历史对话和当前Query相近消息,具体分为规则检索(如K邻信息)和模型检索(如向量检索)

  • 信息加工:通过总结精炼历史对话信息实现信息快速理解,具体分为模型总结、信息精排(支持Prompt设置)

  • 全局变量:通过全局变量的维护,方便快速知道变量当前状态来更好的服务规划决策,举个例子,谁是卧底里面当前存活的人员,或者狼人杀中女巫的毒药解药(如果不设置,当模型推理能力不强且游戏多轮后,经常容易搞错)

muAgent中的工具模块

使用方式

介绍完经验和人物,还剩流程推进中的最后一环-工具。先从工具使用方式出发来介绍。目前业界整体的工作可以归纳为3种思考使用方式:

  • 没有思考:针对问题直接给出单步决策,优势是速度快,面向固定场景能快速执行,缺点是不方便做单节点多步任务;通过任务节点-执行方式“单次”的属性设置实现。

  • 谋定后动:针对问题直接给出完整的Plan计划,然后针对这个计划去实际执行,方便于限定场景,可实现多步任务执行,但不能根据中间执行结果的偏离做调整,通过“计划”和“并行”/同时执行的属性设置实现。

  • 边想边做:即现在主流的ReAct模式,下一步的决策依赖上一步的结果输出。缺点是速度最慢,优势是可以灵活的根据中间步骤调整。通过“交互”属性的设置来实现。

以票选凶手环节为例,同步咨询不同的智能体,同时给出回复,避免不同智能体根据别人的信息输出来伪装自己的描述。
52c56b8ac04c481b88d0be4f761fbc3c.png

工具管理
  • 工具注册方式:业界的实现基本上基于OpenAI定义的协议和规范,muAgent也不例外。muAgent遵循简化Swagger协议,方便不同的API工具快速接入。

  • 工具注册管理:从大模型实际欠缺的能力出发,定义了5大类工具范畴(如大模型数值计算薄弱,对此提供沙箱执行环境,方便代码编写执行),分门别类管理,便于大模型工具选择使用。

9385ef7b229e95cfe7563409454a83da.png

使用效果

随着以ChatGPT为首的闭源模型和Qwen等开源模型的迅速发展,去年研究火热的垂类模型或者定制微调(LoRA)在不断的弱化,很可能训练了很久都不如外部新版本迭代来的效果好。但面向工具场景,muAgent主打预置插件/工具,相同的模型见过的工具(微调)肯定比没见过的模型效果好,尤其是企业内部复杂的API工具。为此,团队搭建了多Agent自动化数据构建链路,实现给定插件,自动化数据构建(Q+A),模型微调服务。保障在专业场景工具使用效果的准确性和稳定性。

6ef449d662e474b4eb8e7cef701526f5.png

muAgent四大核心差异

基于上述的架构设计介绍,回看最开头提及的muAgent框架,相比现有市面各类Agent框架,四大核心差异体现在如下几个方面:‍‍

af77a96831ce5c518a12dcf85b727fc0.png

  • 复杂推理:现有市面框架的推理逻辑有两大类,以AutoGPT为代表的纯模型推理(PureLLM),以及以DiFy为代表的固定推理(FixFlow),前者稳定性较差、同时面向专有领域无法服务,后者灵活性较差、和工程实现没有本质差别。muAgent采用图谱作为编排引擎承载知识,同时通过原子经验的设计以及图谱的发散推理,可友好的实现让大模型在人的经验/设计指导下做事。整体灵活可控,面向未知局面能自由探索,也将成功探索经验总结/图谱沉淀,从而面向相似问题可少走弯路。整体流程唤起支持平台对接(规则配置)和自然语言触发,能满足各类诉求。

  • 人工交互:基于人物节点的设计(智能体、企业人、用户人)、不同信息通讯和加工方法,muAgent可以灵活的处理企业任务流的知识承载,让人能加入到流程的推进;同时又可灵活应用于多人文本游戏的创新场景研发。

  • 知识即用:通过场景意图、事件流程、统一工具、组织人物四部分的统一图谱设计,muAgent能满足各类SOP场景所需知识承载,简易拖拉拽轻文字编写即可直接可用;同时面向海量存量文档(通用文本、流程画板等),muAgent支持文本智能解析、一键导入,以及经验拆分合并泛化。

  • 多人协同:通过虚拟团队构建、场景意图划分,让你体验在线文档VS本地文档的差别;同时,文本语义输入的节点使用方式,让你感受有注释代码VS无注释代码的差别,充分体现在线协同的优势。

同时muAgent还提供调试运行功能。图谱编辑完成后,通过可视调试,能快速发现流程错误、进行修改优化。同时面向调试成功路径,可关联配置自动沉淀,从而减少模型交互/开销、加速推理流程;此外,在线运行中,muAgent提供全链路可视化监控,让排查和维护更加方便。

GitHub项目地址:

https://github.com/codefuse-ai/CodeFuse-muAgent

相关推荐

DeepSeek V4芯模协同背后,国产算力生态开始飞轮加速

更关键的是,CANN开始逐步兼容主流AI生态。开发者每一次正向反馈、每一个优化结果、每一个创新应用,都能通过昇腾和华为的生态快速走向产业界,形成技术、商业、生态的完整闭环。之前,昇腾与不少模型进行过协同探索,但V4是第一次在大规模、高强度、工程化的尺度上,验证了这种“芯模协同”的可行性与效率。开源以后,我们能更充分地学习业界的优秀实践,在此基础上进行适配和优化,也能将一些好的经验应用到自己的项目中。可以说,从“能跑”到“有人长期建设”,从“厂商推动”到“生态自增长”,华为算力生态,正在进入新的阶段——

量子位 520

世界模型接棒语言模型,这家公司全球首创物理AGI“双金字塔”体系,通用机器人进入“家庭时代”

毕竟在现阶段,家庭场景对机器人的真实刚需,是稳当地端水、收拾餐具、抱起脏衣篮、把零食递到孩子手上,而不是在客厅里完成酷炫的跑酷动作。可以说,这支团队完整经历了CV、自动驾驶、具身基模、世界模型等物理AI过去十年的发展历程,并在每个阶段都做出了行业领先的世界级成果。该模型实现了从感知、理解到行动的完整闭环,能够自主识别物体与场景、规划路径,并执行包含抓取、对齐、折叠、归类等多步骤的。他主导了业内首个智能驾驶数据闭环系统的落地,有效提升了数据的处理效率,为智能驾驶技术的发展提供了重要的基础设施支持。

量子位 245

LeCun新证明:世界是高斯的

论文借用这个框架证明,要让转移算子的第一个特征函数恰好是仿射函数(即线性函数加常数),潜变量的分布必须满足一个非常严格的条件——它的对数密度的导数必须是线性的,而满足这个条件的分布恰好只有高斯分布。从理论角度看,对于高斯分布,描述变量如何在时间上演化的转移算子有一组特殊的特征函数,叫做Hermite多项式,它们是高斯分布下函数空间的自然正交基,类似于周期函数里的傅里叶级数。真正有用的表示,应该对应世界的真实自由度,比如物体的位置、速度、颜色这些独立的内在变量,而不是它们被观测过程扭曲之后的混合产物。

量子位 191

玻璃里跑AI!华中科大&上交大科研成果登Nature子刊

更进一步的,光本位科技还将独有的相变材料存算一体光计算方案引入玻璃光计算芯片中,利用相变材料的非易失性,能够避免在玻璃中引入额外的相移器,从而实现计算过程几乎不耗能的三维光子神经网络系统。它既解决了三五族平台器件密度不足的问题,又突破了固定场景的应用限制,相变材料的引入,使得芯片在推理过程中保持极高能效比的同时芯片参数仍然可根据不同模型实时调整,适配性更强。尽管与论文中直接在玻璃中实现三维结构有所差异,但是同样在玻璃平台上提供了三维集成的完整方案,通过单层玻璃芯片堆叠的方式最终实现相同的三维输入效果。

量子位 169

5篇AI生成的数学论文被接收!00后创始人洪乐潼融资14个亿

如果一个 AI 系统能把数学证明交给机器逐步检查,那么同样的“生成、形式化、验证”闭环,也可能被拿去处理其他学科,以及高风险决策场景。她的创业合作伙伴Shubho Sengupta也从Meta辞职,两人从AI与数学推理的交叉可能性出发,决心解决AI的幻觉问题。创始人洪乐潼,2001年出生于广州,本科MIT三年拿下数学与物理双学位,还拿过北美数学本科生的最高荣誉罗德奖学金和摩根奖。2019年,17岁的洪乐潼考入MIT,仅用三年时间便完成了数学与物理双学位的学业,本科期间就发表了9篇学术论文。

量子位 219

AI正在重写软件行业?8岁孩子做操作系统,一人公司拿下千万订单丨百度秒哒朱广翔 @AIGC2026

这些都完成之后,我们再选择分发给谁,比如百度搜索、小红书投流,或者去微信发送到私域社群里,或者说去App store上架,分发流量之后有了用户数据再去回流、去分析、去运营,指导下次迭代,形成下个循环,每个色块就是一个真人。在很多企业里,原来提需求的是业务人员,他们自身没有开发能力,将需求提到研发部门,研发部门又不懂业务人员的痛点,需要反复沟通、调整,但现在业务人员自己就可以开发软件了。我非常荣幸能从事这个赛道,因为在这个过程中、在这一年半的时间里,我不仅看到了产品的变化,还更多地看到了整个时代的变化。

量子位 427

清华有了新老师:黄仁勋

既包括科技圈顶流如马斯克、微软CEO纳德拉、Meta扎克伯格等,也不乏金融圈大拿,如摩根大通的杰米·戴蒙、贝莱德的拉里·芬克、花旗的简·弗雷泽。,使命是加强学院与外部各界的联系,提升学院在科研和教学方面的整体水平,帮助学院建设成为世界一流的经济管理学院。后来黄仁勋转学,并且一直学业成绩优异,在高中时连跳两级,16岁毕业,进入。,除了讨论学院的国际化战略和长期发展方向,也会给经管学院的学生做讲座。不过,比起这些头衔,老黄最近最出圈的,可能还是他在夜市的花式插队——可口可乐、西门子、通用汽车、BP、塔塔。

量子位 181

「斯隆奖」得主戴亮全职加盟复旦

曾担任波士顿咨询合伙人,副总裁,中国区首席数据科学家,百度研究院大数据实验室和商业智能实验室的主任,和美国俄勒冈大学计算机和信息科学系正教授(终身教职)。,覆盖面相当宽:从宇宙大尺度结构与演化,到暗物质及其通过引力透镜留下的观测信号,再到天体物理引力波。2024年起到复旦大学物理系工作,现任复旦大学特聘教授、复旦大学天文与天体物理中心主任。获奖者覆盖数学、物理、天文、计算机、经济、生物等领域,成长路线相当恐怖,很多后来成了。继袁峰、季索清之后,复旦的天文版图,再迎一位顶尖天体物理学者。

量子位 164

高分辨率视频生成不再慢半拍:让大模型保留“原味”的同时提速十余倍

为此,SURF训练了一个轻量级Refiner,它从线性上采样后的预览latent出发,学习低分辨率latent到高分辨率latent 的flow mapping,只需少量去噪步骤,就能补足高清纹理。因为这些步骤决定了视频最终“会长成什么样”,等到整体结构、主体关系和运动方向基本稳定后,SURF再将latent 下采样到低分辨率,在保留全局结构的前提下,快速完成预览。原因在于,每个预训练模型都有自己的“舒适区”,通常接近它的训练分辨率,一旦分辨率不匹配,模型原本学到的布局、语义和运动先验,就可能被破坏。

量子位 143

大模型也需要睡觉!让AI打个盹,醒来更聪明

Transformer的核心是注意力机制,但注意力有一个天生的短板就是,上下文越长,算力平方级往上蹿,KV缓存也线性往上涨。,让大模型上下文窗口快满的时候别硬撑了,打个盹把最近的上下文反复咀嚼几遍,压缩进长期权重,清空缓存,醒了再接着干。依靠可学习的局部规则,反复对信息进行提炼整合,逐步更新SSM模块内的快速权重,完成信息的深度压缩与消化。这里的“睡眠时长”,本质上就是信息迭代处理的轮次,轮次越多,代表模型对上下文内容的梳理、打磨次数越充分。

量子位 161

1400亿Agent入场,“流量”这条护城河要塌了

因为人要睡觉,但Agent不会睡觉,所以Agent时代的交易呈现7×24小时不间断、极小额、高频次、多形态的特征,此外,支付金额的最小单位可能低于1分钱,成本大幅下降。如果说担保交易解决了电商早期敢不敢买、敢不敢卖的信任问题,移动支付解决了移动互联网时代能不能随时随地交易的效率问题,那么AI支付面对的,就是Agent时代的新问题。早在今年年初,支付宝联合千问App、淘宝闪购、Rokid、大麦、阿里云百炼等伙伴,正式发布中国首个ACT协议,提供一套智能体跨终端、跨系统的“通用语言”。

量子位 161

7B打败o3、GPT-5!医学AI智能体让模型学会“看哪里、怎么看”

是上海创智学院面向下一代医学AI Agent、视觉推理与多模态大模型的青年交叉研究团队,聚焦Visual Reasoning、Agentic RL、Clinical Tools,推动模型从“生成答案”走向基于证据的观察、验证与行动。Ophiuchus的价值不只是让医学大模型多了几个视觉工具,而是让模型学会在诊断过程中主动“看哪里、怎么看、看完如何修正”。当模型能够在思考中主动回看影像、放大病灶、截取视频、验证证据,医学AI才真正从“会回答问题”走向“会进行临床视觉推理”。

量子位 164

AI越用越聪明,自主+自进化是关键拼图丨盛大邓亚峰EverMind@AIGC2026

另一方面,我们认为,未来的AI Memory的Layer(记忆层),服务的可能不仅是资深的开发者,将来很多人都会构建AI应用。我们在token节省和模型成本方面也取得了显著的效果,原因是利用强化学习的方法训练了很小的模型——我们的4B模型在记忆提取和检索使用上的效果可媲美几百B的模型,并且已有不少学术成果发表。当前,大家看到模型进展非常快,但在记忆方面的工作,今年才逐渐多起来,去年这个时候我们和行业里一些团队开始交流AI Memory,这方面的关注还非常少。的爆火,我简单谈谈我的理解。

量子位 754

让大模型“边看边改”,视觉分割准确率直接上涨9% | ICML 2026

给模型一张图、一句话,让它把目标区域的像素圈出来——听起来直接,但一旦目标含糊、被遮挡,或者需要推理才能定位,一次性猜出正确的掩码就变得相当困难。模型不再一次性输出mask,而是先观察图像、进行推理、调用视觉工具、读取反馈,再根据历史结果迭代修正,最终生成更可靠的准确掩码。而RSAgent总体框架如下,包括多轮交互、工具调用、观察反馈、cold-start SFT与agentic RL。痛点不是单纯追求更复杂的分割头,而是让模型在开放语义任务中具备“先判断、再行动、看反馈、再修正”的能力。

量子位 183

OpenAI挖来了个F1级别车手搞公关

在我职业生涯早期,我曾效力于红牛车队,参加过F1级别的职业比赛。后来无论是Salesforce、ServiceNow,还是现在的OpenAI,他几乎每一次跳槽,踩中的都是技术范式切换最剧烈的时候。毕竟现在的OpenAI,既是全球最炙手可热的AI公司,也是最复杂、最难做品牌管理的公司之一。当年从赛道退下来后,他没有选择一条更稳妥的路,而是直接跨进了一个与赛车几乎毫无关系的行业,从零开始做市场与品牌。Salesforce后来之所以能从一家卖CRM的软件公司,变成云计算时代的行业代表,这是很重要的一步。

量子位 148

5秒完成3D场景编辑,北大&港中文&上海AI Lab搞出VGGT-Edit,120倍加速太炸了

尤其是在添加家具、调整位置、修改材质这些复杂任务中,很多传统方法仍然会出现明显的“贴图感”和几何漂移,但VGGT-Edit生成的结果,会明显更像一个真实稳定的3D空间。而这件事,可能比“会生成3D”本身更重要。对于机器人、AR/VR、空间智能这些方向来说,这几乎是致命问题——这些场景真正需要的,不是“某一个角度看起来对”,而是整个3D世界始终稳定一致。对于原生3D编辑来说,这一步非常关键——模型真正需要学习的,不只是“图像变化”,而是同一个编辑,在不同视角下如何始终保持空间一致。但问题也恰恰出在这里。

量子位 151

触觉具身来了个梦之队:天使轮近亿

背靠产学研与地方政策双重加持,作为复旦大学与静安区战略合作的重要落地成果,公司在初创期便获得静安区科经委与市北高新集团的大力培育,先后获得静安区战略性资金及上海市经信委促进产业高质量发展专项资金的支持,上海市科委也针对其核心视触觉传感器的研发给予了专项经费支持,全面加速公司的技术攻关进程。能够夹起衣物,却无法实时感知布料的滑移状态与张力分布,难以完成精准的褶皱整理。对于后发企业而言,沿着先行者的轨迹亦步亦趋难以实现突破,唯有找到行业尚未解决的核心难题,从新的技术变量切入,才能构建起不可替代的竞争壁垒。

量子位 162

DeepSeek陈德里开发自动研究Skill,写一篇论文人类只动脑2小时

论文共迭代6次(V1:4 次,V2:1 次,V3:1 次),总耗时6天,进行了约108轮Agent调用,消耗64.8万token,写了2234行LaTeX代码。,智能体可自主选题、分配资源、长期积累知识、跨领域持续研究,是当前未实现的理想状态,核心瓶颈为持续知识积累、可靠自我评估、架构规模化。早期智能体框架CAMEL、AutoGen、MetaGPT等为代表,特点是分工协作、多视角纠错,成本较高,沟通易混乱。,人类仅提供研究目标、评估最终成果,智能体可完成多步实验、代码、论文撰写,但无法自主选择研究问题。

量子位 191

双榜SOTA!微软ACL2026新作重新定义AI长记忆

结果它找到了Boston和San Francisco,却完全遗漏了Detroit——因为“attended a conference in Detroit”被埋藏在一条长消息中,与“去过哪些城市”的语义相似度不够高。最终,System-1确保语义直接匹配的记忆不遗漏,System-2确保结构相关但语义距离较远的记忆被覆盖,两者。团队认为,真正的AI记忆应当是有组织的、可推理的、双模式的、并能持续进化的。记忆系统的质量,很大程度上取决于“存储时做了什么”,而不仅仅是“检索时怎么找”。

量子位 179

将DSA注意力引入多模态,快手Keye2.0开启强化推理新范式

情感与主题的深度升华:模型并没有停留在“建雪雕”的表层,它提取了画面中巨大的“振兴东北”刻字,关联了片中“老程盼女儿、小李回流家乡”的人物背景,在总结中直指故事内核:“极寒的温度冻不住东北人的热血,冰雪项目不仅是奇观,更是承载着东北人振兴家乡、呼唤游子归乡的炽热情感与现实路径。当接收到“请找出视频中的高光时刻,并给出你的依据,时间戳用[mm:ss]的形式来表示”的指令时,Keye-VL-2.0- 30B-A3B没有陷入传统AI“哪里有击杀提示就截取哪里”或“只看画面元素剧烈变化”的机械逻辑。

量子位 186

专治世界模型幻觉!ECCV 2026 Workshop征稿,Sergey出席,帝国理工等联合发起

ergey Levine(UC Berkeley)、Jiajun Wu(Stanford)等国际顶级学者做特邀报告,同步举办具身动作世界模型挑战赛,以及主题为From Synthesis to Deployment:Bridging Academic and Industry Focuses on World Models的圆桌讨论,旨在弥合学术界在世界模型合成方面的进展与工业界对部署需求之间的差距。世界模型作为智能体的内部模拟器,在执行前预判风险、规避危险,实现风险感知决策。

量子位 191

卡帕西Anthropic最新头衔:技术员工(MTS)

但尴尬的是,这些案例的争议其实很大,都被吐槽过说没有宣传的那么美好,所谓扁平会变成隐性权力,表面没老板,实际有老员工、核心圈层……头衔都一样,竞争对手就没法通过头衔判断谁是L7谁是L5,推断一个员工具体做什么方向,定向挖人的难度直接上升。一个很直观的事实是,整个商业史上,能在没有层级制度的情况下完成规模化的组织,一只手数得过来。后来离开Ins,自己做了个新闻聚合App,叫Artifact,同样是联创+CTO的标签。这些说不在意职称的,一旦离职,就开始在领英自称上「副总裁」了(hehe)。

量子位 79

把VLM塞进隐式世界模型,港大&小鹏机器人新框架让机器人长出物理直觉

通过将人类的姿态对齐到机器人的动作空间,双系统能够共同从多样的人类动作数据(如EgoDex)中汲取养分:System-2负责从人类视频中提取通用的任务逻辑,而System-1则从人类动作标签中蒸馏通用的运动先验。借鉴认知科学中的双系统理论,不仅让强大的VLM直接在其原生的ViT特征空间中进行轻量化的隐式世界建模(Latent World Modeling),更关键的是,它将这种隐式视觉预见构建为一个可微的结构化瓶颈。System-1则在真实未来特征的指导下,专心学习从感知到精准动作的映射。

量子位 94

留给人类数学家的悬赏不多了!谷歌DeepMind一口气解决9道埃尔德什问题

同时,AlphaProof Nexus还在OEIS整数序列百科里证明了44个开放猜想,在代数几何那边解决了一道希尔伯特函数对数凹性的15年悬案,凸优化那边改进了一个锚定梯度下降法的理论边界。这个结果或许也在预示着,未来随着大模型能力持续升级,复杂的多工具组合系统,可能不再是刚需,只用大模型+专业校验工具这套简单循环,就能搞定大多数数学难题。简单理解就是,这群数字之间,既不能一个数整除另一个数,也不能一个数整除另外两个数的和,同时数字还要分布得相对密集,不能只挑寥寥几个数投机取巧。

量子位 127

龙虾之父教你省钱:开源Skill给你的Skill减肥

严格遵循Codex计费规则(UTF8字节数/4向上取整),以模型上下文2%为默认技能预算基数,结合技能优先级排序规则(系统技能>内置技能>插件技能>仓库自定义技能),核算全量技能原始占用令牌、最小渲染令牌、预算内可用令牌。同时可模拟真实运行场景,计算预算不足时的技能描述截断字符数、被省略技能数量,精准输出预算使用率、剩余预算、上下文占用比例等核心指标,直观展示技能体系的资源负载情况。跨Codex内置库、插件缓存、代码库、个人技能根目录,扫描同名技能、描述/内容高度相似的重复技能,标记冗余项。

量子位 84

刚刚,国产AI自己造了AI,全球首例!

在MMLU-Pro、MMLU-Redux、AIME-2025、AIME-2026、BFCL-v4、AA榜单等项目上,也给出了对应成绩。我们完全可以给不同的模型、不同的硬件、不同的任务,分别写专用的代码。如果人不够,那就用AI来凑!更直白一点说,就是当AI写代码的成本越来越低,未来软件不一定非要做成一套通用大框架,也可以针对不同模型、不同硬件、不同任务,现场锻造一套专用代码。这也让MiniCPM5-1B的价值更明确了,它不只是一个小尺寸模型,而是一个在参数规模、部署成本和实际能力之间重新找平衡点的端侧模型。

量子位 638

画数独、烧蜡烛都不翻车了?浙大&阿里让AI先三思再下笔|ACL 2026

让模型画 “数独解完后的样子”、“蜡烛燃烧6小时后的状态”,开源模型要么出现逻辑幻觉,要么无法把文字指令转化为精准视觉操作,形成难以跨越的执行鸿沟。研究者设计了一个独立的Thinker模块,它不直接生成像素,而是充当大脑,负责将模糊的用户意图分解为分层、结构化、且对下游生成器友好的中间表示。阶段,Thinker产生的多条推理路径直接由生成图像的视觉质量打分反馈,这迫使模型放弃空洞的辞藻,转而学习生成“视觉可执行”的指令。这种双向反馈机制,真正实现了脑与手的深度协同。

量子位 61

0.9B跑出90%真机成功率!上海交大为VLA补上空间感

从多视角RGB提取紧凑的隐式深度表征,再以轻量方式融入视觉-语言通路,最后通过flow-matching动作专家输出连续动作。参数,不额外增加硬件负担,用紧凑的隐式深度编码把空间感写进VLA策略里,仿真与真机同时兼顾性能与部署效率。论文中,IDEM骨干约0.13B参数,并结合多视角深度预训练初始化,在轻量条件下引入与深度相关的归纳偏置。值得注意的是,相比只关注benchmark分数,论文也给出了部署侧开销与实时性指标。从RGB学几何,省了硬件,但不少方案依赖较重的基础模型,训练和推理成本偏高。

量子位 81

Grok最新模型吃上Cursor「加餐」,马斯克:Coding实现巨大改进

Cursor数据其实更可能告诉模型,开发者在真实项目里,是怎么描述需求、定位问题、让AI读上下文、修改文件、修复报错、再继续追问的。更大的模型容量,往往能让它更好地理解复杂上下文、进行更长的链式思考,以及处理更具挑战性的真实开发任务~要知道,毕目前承载Grok所有生产流量都由0.5T的v8-small模型,也只有0.5T的大小。用户输入需求后,Grok Build不会直接动手,而是先制定详细执行计划,让用户确认后再执行。这边,也被马斯克亲口点名,补充训练里加入了大量Cursor数据,后续还会继续添加。

量子位 113

刚刚,国产Agent模型闯入全球第一梯队!限时免费

从训练的第一天起,它的目标就不是聊天,而是干活。就像我在实测中感受到的那样,做完桌宠它问你要不要存成Skill,做完周报它提醒你设成定时任务,昆仑万维瞄准的显然不只是一个模型,而是一整套Agent工作生态。发现没,自从模型进入Agent时代后,大部分玩家在推主力模型时都会附带一个轻量版,这也很好理解,就像前段时间Snapchat前机器学习工程师说的那样:。一只小猫,能在屏幕上随机溜达,点击会说打工人语录,右键能切工作模式和摸鱼模式,工作模式带番茄钟倒计时,还要有喝水提醒、远眺提醒、拉伸提醒这些健康功能。

量子位 533
上一篇: 大模型重构生命科学!最大基础模型面世,解锁DNA超长序列,参数规模达2100亿...
下一篇: 零一万物战略骤转!国内聚焦toB,toC先走海外
QbitAl
QbitAl 企业官方账号 企业官方账号
博客等级 码龄7年 2万+粉丝 2173原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值