国产玩家亮剑世界模型!把全模态卷到顶后,天工AI不藏了

一水 发自 凹非寺
量子位 | 公众号 QbitAI

人人都在卷多模态,可多模态之后呢?

直到今天,终于有人给出了清晰答案——而且是刚刚把多模态卷到全球第一梯队的国产玩家。

不是更强的模型,而是平台。

更关键的是,这个判断并非来自一次普通发布,而是出现在中关村论坛这一国家级科技创新平台之上。

天工AI董事长兼CEO周亚辉在《世界模型前沿技术与天工AIGC全家桶大模型生态》发布会上分享:

过去三年,第一次跃迁已经完成。从移动互联网的流量经济,进入了大模型工具时代。

而现在,第二次跃迁正在发生。从大模型工具时代,迈向AI平台经济,也就是AI原生的平台经济时代。

在这个新时代里,模型是引擎,平台是工厂,创意创作者是老板,三者合为一体,让每个人都能充分释放创造力。

当“平台”二字一出,台下的我们此刻终于明白天工AI之前那些看似费解的动作:

为什么死磕原生多模态?为什么在视频、音乐、游戏等领域四面出击?为什么模型更新节奏飞起?

答案其实很简单。

因为自打选择All in AGI和AIGC开始,这条路将会经历什么、以及终点何在就已经写好了——

不是单纯做一个更强的模型,而是搭一套完整的AI平台。

从天工AI以往的实践来看,这个平台包含内外两层。内层是从技术→模型→应用的完整闭环;外层则是这个闭环吸引开发者、创作者和合作伙伴不断加入后,由平台演化而成的生态。

所以,当天工AI如今又摆出2026 AGI战略和三大模型“全家桶”时,一切就都说得通了。

天工AIGC“全家桶”来了

说回此次发布会。

这一次,天工AI直接一口气发布了三款模型——不仅量大管饱,而且每一个都位居各自赛道的全球第一梯队。

  • AI游戏世界模型Matrix-Game 3.0

  • AI视频大模型SkyReels V4

  • AI音乐大模型Mureka V9

当这几个模型同台亮相时,我们这才意识到:

原来它们此前并非孤立推进,而是在逐步拼出一个“可理解、可生成、可交互”的世界模型雏形。

游戏世界模型率先把能力放进可交互场景中跑起来,视频与音乐则在此基础上不断补齐世界的理解与表达维度,三个模型互相配合、彼此反哺,在应用中不断迭代完善。

然后只要等到每个模型足够强大、这套闭环真正跑通时,天工AI的世界模型,也就不再遥远了。

至于当下天工AI离世界模型还有多远,不妨一起看看这次发布的三款模型。

游戏模型Matrix-Game 3.0

对于游戏世界模型,天工AI的思路很好懂——

既然世界模型主打“可交互”,那不如早早把模型丢进游戏这种实时交互环境里,让它一边生成一边学习。

而这,就是Matrix-Game系列模型正在做的。

到Matrix-Game 2.0,天工AI已经让实时交互这件事变成了现实,3.0则主要解决两个业界“老大难”:

  • 长时序一致性(Memory)

  • 高分辨率实时生成(Resolution + Real-Time)

过去很多世界模型,本质上仍未脱离“视频生成模型”的范畴——几秒十几秒OK,一旦拉长就开始“失忆”,出现场景变形、物体突然消失等“鬼畜”现象。

所以Matrix-Game 3.0决定给模型补上“记忆”。

生成当前帧时,它不光看最近几秒的画面,还会根据当前视角,从之前的长视频里找出相关的关键帧一起参考。

而且还会进一步通过几何信息看懂“同一个场景不同角度该咋对应”。

这样一来,哪怕过了一分钟,再回到同一个位置,生成出来的内容依然一致。

换言之,模型对世界的长期记忆能力,现在已经来到了分钟级。

另外,世界模型由于主打“边交互边生成”,所以对实时性要求极高。

Matrix-Game 3.0目前交出的答卷是——在720P分辨率下,5B模型实现最高40FPS的实时生成。

这意味着模型不再只是一个离线生成工具,而是可以像游戏引擎一样运行起来:

用户按下键盘、移动视角,模型立刻给出反馈,整个世界随之变化。

而为了突破实时性瓶颈,天工AI用三招将原本“慢而复杂”的生成流程,压缩成一套可以实时运行的系统。

  • 减少步数:大幅压缩推理步数,把生成速度拉上来;

  • 提前适应:训练阶段就让模型模拟真实运行,一次生成多段内容,提前适应长时间运行时的误差累积;

  • 边生成边纠偏:让模型在高速生成的同时,不断自我校正。

到这里,当模型同时解决了实时性与长时序问题后,世界模型才真正从“视频生成器”,变成了一个“可交互系统”。

当然,要做到这一步,靠的可不只是模型本身——背后是数据引擎、模型架构、推理部署三个层面的系统性升级。

昆仑万维首席科学家、香港中文大学教授成宇表示:

从技术趋势来看,世界模型的发展经历了几个关键跃迁:从video到world,从生成视频到生成可交互的环境;从offline到real time,从离线生成到实时交互;从短时记忆到分钟级长序列一致性;从学界可研究的模型到产品商业化。

而在Matrix-Game 3.0上,我们从数据、模型、推理三个层面,完成了关键跃迁——从可运动的交互demo,走向具备稳定性和工业级生成能力的世界模型系统。

视频模型SkyReels V4

再看视频模型SkyReels V4。

它的出现恰好回答了一个问题:为什么做世界模型,大多从视频模型开始?

背后的逻辑其实很直接——视频是世界模型最好的“训练场”。

相比静态图片,兼具时空维度的视频包含了物体运动、光影变化、因果关系等物理规律,这些正是世界模型需要理解的核心能力。

输出方面,视频模型练的是“预测下一帧”,世界模型则是“预测下一秒”,后者需要前者提供坚实支撑。因为只有先看懂世界如何运转,才能与之交互。按成宇的话来说就是:

世界模型的核心在于学习一个状态转移参数,给定当前状态和动作,预测下一个时刻的状态。与传统的生成模型不同,世界模型不光关注当前的生成结果,更关注动作建模与环境交互之间的因果关系。因此,它具备三个特征——动态性、可交互性和物理一致性。

那么,接下来的问题就只剩下:SkyReels V4已经走到哪里了?

答案上周已经揭晓——最最最前排。

在Artificial Analysis文转视频(含音频)全球榜,SkyReels V4超越Veo 3.1、Sora 2等国际主流模型,直接登顶。

而它能脱颖而出,关键就在于解决了AI视频生成的四大顽疾:音画不同步、可控性差、缺叙事逻辑、商用落地难。

音画不同步,那就甩出自研对称双流MMDiT架构,从底层就把音、视频焊在一起。

视频生成可控性差全靠“抽卡”,那就把全模态参考和各种增删改功能安排上。

把文本、图片、音视频统一到一个框架里之后,首尾帧、运动轨迹、多图参考便都能用上——给的信息越具体,结果就越可控。

如果还不满意,也不用重来,直接增删改继续调,最后拿到的就是一段可以直接用的视频。

当然,上面这些还只是基础。

真要落地短剧、影视、广告等场景,光“能生成”肯定不够——还得会“讲故事”。

为了提高视频模型的叙事能力,SkyReels V4引进了强化学习。

一边用全模态语义Reward模型去盯过程,告诉模型不要只看单帧好不好,还要看整段视频是否合理。

另一边用“阶梯式课程学习”的方式,让模型从分辨率与时长、任务复杂度、数据难度三个维度,由简入繁掌握复杂能力。比如先学拍5秒的静物,再学拍10秒的走路,最后才学拍15秒的复杂剧情。

结果就是,生成的视频不再是画面的简单拼接,而是有因果、有节奏、有表达的内容。

比如仅提供一段提示词+几张关键帧,SkyReels V4就能创作时下爆火的AI漫剧:

最后则是一个很关键也很难的一点——商业化。

前面的能力再强,如果成本下不来、流程跑不通,落地依旧很难。

SkyReels V4的做法,是把复杂问题“收敛”到一个统一框架里:生成、编辑等任务不再分散,一套系统就能跑通全流程。

同时在效率上做针对性优化——低分辨率跑全局,高分辨率补关键,叠加稀疏注意力,计算成本压到原来的三分之一。

最终,SkyReels V4在保证1080P、32FPS、15秒成片质量的同时,也具备了规模化生产视频的可能。

目前,SkyReels V4已经在天工AI海外短剧平台DramaWave中落地验证,同时也通过API对外开放。

从“可生成”到“可生产”,SkyReels V4已经迈出关键一步。

音乐模型Mureka V9

最后是音乐模型Mureka V9。

一个完整的世界显然不止有画面,还得有声音、有旋律、有情绪——而这,正是天工AI打造音乐模型的原因。

回看天工AI音乐模型的迭代过程,不难发现Mureka V9已经达到了一个新的里程碑:

从“能写出来”升级为“能按你想的方式写出来”。

玩过AI音乐的人都知道,现在的难点不是“AI能不能写”,而是写完能否让人眼前一亮,能不能写到人心坎里去。

很多时候,AI写的歌就是差那么点意思——歌词放不对地方,情绪推不上去,该唱重的地方唱轻了。

针对这种“表达偏差”,Mureka V9依托进一步优化的自研MusiCoT技术,在段落内文本控制、生成效率、混音质量与整体听感上进行了全方位打磨。

所以现在,模型不再只是按照提示词“生成一段音乐”,而是以更接近真实创作逻辑的方式,理解“这一段该唱什么、怎么唱、为什么要这样推进”。

这里也浅浅放一个demo,让大家感受下Mureka V9的实力——来一首含中英法西四种语言的夏日慵懒曲。

各位听完感受如何?

虽然目前Mureka V9的第三方跑分还没出来,但就在这两天,Mureka V8已经登顶Artificial Analysis音乐模型榜了。

只能说,如果V8就已经打败了Suno V4.5、Udio v1.5 Allegro等国际主流模型,那V9就更不用多说了。

当然,Mureka V9的价值远不止“写歌”。

更重要的是,它让“好的AI音乐是一种音乐新品类”这件事,更加站得住了。

自Mureka V8起,天工AI就把“好的AI音乐”视为一种比肩爵士、乡村、说唱的音乐新品类。

这背后,不光有Mureka V8带来的那个“啊哈”时刻,更关键的是,供给侧和需求侧都在变。

一边是被彻底改写的供给侧。音乐创作不再是低频、高成本的少数人游戏,而是模型驱动下高频、可迭代、可版本化的日常生产。

另一边是被日渐激活的需求侧。当人们发现用AI能随时随地表达情绪、记录生活,那么音乐就从一种被动消费内容,变成了一种新的用来表达自我的语言。

于是天工AI相信,在供给与需求同时发生结构性变化的情况下,行业必然会出现新的平台形态,用以承载这种AI原生的内容形态、创作方式与用户行为。

正如Spotify在流行音乐时代所扮演的角色一样,AI音乐这一新音乐品类,也需要一个中心平台,来连接创作者、用户与分发生态。Mureka正是在这一判断下诞生的产品。

而从Mureka V8到V9,正值AI音乐从“模型效果探索期”进入“系统能力与工程化竞争期”的关键节点,天工AI用稳居全球第一梯队的实力把这个判断一步步做实了。

现在,当我们把三大模型的能力拼在一起时,天工AI关于世界模型的图景便逐渐清晰了:

Matrix-Game系列先把视觉与交互能力组织成一个可以实时运行的世界框架,SkyReels系列进一步承担对世界的理解与预测,Mureka系列则补齐表达与情绪维度。

在这个框架之上,声音、音乐等多模态能力还可以不断接入,最终走向一个更完整的可交互世界。

至此,一个可运行的世界模型雏形,已然出现。

原来天工AI下的是这样一盘棋

但问题是:这和我们开头讲的“平台”有啥关系?

很多人一看到三大模型齐发布,就会下意识以为,这不过是一次“模型的集中上新”。

但如果告诉你,这里的每一个模型都已跻身全球第一梯队,你是否会觉得事情开始变得不一样了。

没错,这正是天工AI在将多模态卷到顶之后的想法——让模型不再只是能力本身,而是变成可被组织、调度的平台资源。

至于怎么搭这个平台,天工AI董事长兼CEO周亚辉在发布会上将其总结为“3+1战略”,即三大场景大模型+天工超级智能体(Skywork Super Agents)。

我们正式发布昆仑万维2026年的AGI战略升级,即“3+1”生态架构。相比三年前,最大的变化在于收敛。

底层是四大SOTA大模型——视频、音乐、游戏世界模型,再加上面向Agent的Skywork 6.0,这是我们整个体系的引擎。

上层是三大AI原生平台经济体,通过SOTA模型驱动内容生产,再结合平台分发,形成端到端的闭环。

最后那个“1”,就是Skywork Super Agents。它是背后的通用操作系统,是面向未来5亿内容创作者的“一人公司操作系统”。

拆开来看,这套战略并不只是模型层面的能力组合,而是已经延伸到了具体的产品与平台形态:

  • 游戏世界模型→新一代AI开放世界模拟游戏平台“猫森学园”;

  • 视频模型→海外付费短剧平台DramaWave(“AI版Netflix”);

  • 音乐模型→AI音乐创作与分发平台Mureka(“AI版Spotify”)。

显然,天工AI是想搭建这样一套体系——

底层是多模态模型能力,中间是统一调度的智能体,上层则是面向开发者与行业的应用与生态。

也就是说,到了现在这个阶段,天工AI已经在思考模型之后的下一步了,即如何将其组合成一个真正可用的系统。

那么问题来了,对天工AI来说,为什么是现在呢?

模型实力肯定是一部分原因。

无论从行业出发,还是天工AI自己取得的成就,都在说明模型能力已经到了临界点。

换言之,多模态协同已经具备了基础。

但更深的变化,其实还是来自产业侧——过去AI更多是工具,但现在开始进入生产流程本身。

要理解这一点,在以《全模态内容革命:AI游戏、AI视频、AI音乐的创新、落地与生态共建》为主题的圆桌环节,几位嘉宾的切实分享便是最直接的印证。

QQ炫舞创始人姚勇(下图左三)观察到,AI正在逐个击破游戏开发的“新鲜、好看、好玩”三座大山,将过去“费钱费时间”的环节大幅压缩。

电子音乐人、多领域创作者朱婧汐(右二)则将AI视为“同时打开很多扇窗”的助手,能帮她从几十种可能性中快速选择创作方向。

以前需要和制作人在录音棚里一个一个试风格,耗时费力,而现在AI可以瞬间生成几十种可能性,甚至是“非常抽象、夸张、不可思议”的尝试。

导演周楠(右一)则指出,对普通人而言AI降低了创作门槛,对专业创作者而言,真正的挑战在于如何让AI理解电影的专业语言(比如镜头、剪辑、叙事)——而这正是他们正在攻克的“临门一脚”。

只能说,在最先接触到AI的这批玩家里,AI已经成了他们工作流中不可或缺的角色,只不过鉴于AI能力还有增长空间,所以一时还各有难题需要解决。

Anyway,这些产业一线人员的经历表明:

当AI从“辅助”走向“参与”,甚至开始“主导”部分生产环节时,单点能力已经不够用了。

于是提前洞察这一趋势的天工AI,早早就给出了全模态的解法。

为什么要做全模态?昆仑万维董事长兼CEO方汉举了一个非常生动形象的例子:

全模态之所以存在就是为了降低表达门槛,比如为什么要做视频,这是因为世上还有很多人不识字,如果只有文字那么这部分人就无法表达自我、“被看见”。所以,全模态就是我们为了让所有人表达自己,而必须要走的一条路。

而在天工AI实现全模态后,接下来真正决定上限的,是能否把这些能力组织起来,承载真实的生产与交互。

而这,正是天工AI选择在这个时间点提出“3+1战略”的深层原因。

从这个角度讲,这次发布的意义不只是模型更强了,而是天工AI已经开始着手搭建一个AI平台——

一个将单模态能力组织起来,形成可持续、可规模化内容生产的系统。

从多模态来,到平台生态去。

全球第一梯队,迎来“全能”国产玩家!

而在发布会之外,天工AI转向“平台”背后还释放了更直接的信号:

全球第一梯队,迎来了一位全能国产玩家。

怎么说呢?这就像给整个行业投入了一尾鲶鱼,让竞争焦点从单点能力转向体系化能力。

过去一段时间,AI行业的竞争大致分成两条路径:

一类玩家主要在单一模态上卷极致,比如大家熟悉的Midjourney、还未“消亡”前的Sora等,一听名字你就知道它们是干啥的。

另一类则开始尝试把单一模态的能力拼起来,朝着一个统一的系统或平台发力。由于要做的事情更多更复杂,所以业界普遍认为后者更难。

现实中,后者不仅考验模型能力本身,还要求在架构设计、工程能力、产品形态乃至生态构建上形成协同——

任一环节掉链子,整套体系都很难成立。

也正因如此,真正走到这一步的玩家,始终寥寥。

而天工AI作为后者之一,它走到“平台”这一步,并不是偶然。

自母公司昆仑万维2022年确立“All in AGI与AIGC”战略以来,天工AI已经构建起“模型+产品”的完整矩阵。

一张图总结如下:

如果说这张图展示的是能力布局,那么实际表现同样给出了验证——目前昆仑万维的海外服务覆盖全球100多个国家和地区,全球平均月活跃用户近4亿,海外收入占比达92%。

所以回过头看,天工AI其实早就在为“平台”铺路:

从原生多模态的持续投入,到视频、音乐、游戏等多个方向的同步推进,再到这次以“3+1战略”为核心的整体亮相,这条路径始终在向同一个目标收敛。

而且虽然前面一直在说多模态,但天工AI实际上已经做到了“全模态”。

有一说一,互联网发展至今,几乎所有公司都曾试图“做平台”,毕竟“一流公司做平台”的口号已经深入人心。

但最终能够真正跑出来的,始终只有少数几家。

绝大多数失败者,往往败于“先搭台、后唱戏”——平台是建起来了,却没有足够稀缺的能力来支撑。

而天工AI的路径恰恰相反,先拿下“全模态”这张硬牌,再向平台延伸。

因此,虽然天工AI能否成为幸运儿尚未可知,但至少,这第一步算是已经抢先迈出去了。

而且别的不说,能在中关村论坛开AI专场(拿下国家级平台背书与政府认可),本身便是实力的证明。

Matrix-Game 3.0开源地址:
主页:https://matrix-game-v3.github.io/
代码:https://github.com/SkyworkAI/Matrix-Game/tree/main/Matrix-Game-3
模型:https://huggingface.co/Skywork/Matrix-Game-3.0

相关推荐

DeepSeek V4芯模协同背后,国产算力生态开始飞轮加速

更关键的是,CANN开始逐步兼容主流AI生态。开发者每一次正向反馈、每一个优化结果、每一个创新应用,都能通过昇腾和华为的生态快速走向产业界,形成技术、商业、生态的完整闭环。之前,昇腾与不少模型进行过协同探索,但V4是第一次在大规模、高强度、工程化的尺度上,验证了这种“芯模协同”的可行性与效率。开源以后,我们能更充分地学习业界的优秀实践,在此基础上进行适配和优化,也能将一些好的经验应用到自己的项目中。可以说,从“能跑”到“有人长期建设”,从“厂商推动”到“生态自增长”,华为算力生态,正在进入新的阶段——

量子位 523

世界模型接棒语言模型,这家公司全球首创物理AGI“双金字塔”体系,通用机器人进入“家庭时代”

毕竟在现阶段,家庭场景对机器人的真实刚需,是稳当地端水、收拾餐具、抱起脏衣篮、把零食递到孩子手上,而不是在客厅里完成酷炫的跑酷动作。可以说,这支团队完整经历了CV、自动驾驶、具身基模、世界模型等物理AI过去十年的发展历程,并在每个阶段都做出了行业领先的世界级成果。该模型实现了从感知、理解到行动的完整闭环,能够自主识别物体与场景、规划路径,并执行包含抓取、对齐、折叠、归类等多步骤的。他主导了业内首个智能驾驶数据闭环系统的落地,有效提升了数据的处理效率,为智能驾驶技术的发展提供了重要的基础设施支持。

量子位 248

LeCun新证明:世界是高斯的

论文借用这个框架证明,要让转移算子的第一个特征函数恰好是仿射函数(即线性函数加常数),潜变量的分布必须满足一个非常严格的条件——它的对数密度的导数必须是线性的,而满足这个条件的分布恰好只有高斯分布。从理论角度看,对于高斯分布,描述变量如何在时间上演化的转移算子有一组特殊的特征函数,叫做Hermite多项式,它们是高斯分布下函数空间的自然正交基,类似于周期函数里的傅里叶级数。真正有用的表示,应该对应世界的真实自由度,比如物体的位置、速度、颜色这些独立的内在变量,而不是它们被观测过程扭曲之后的混合产物。

量子位 194

玻璃里跑AI!华中科大&上交大科研成果登Nature子刊

更进一步的,光本位科技还将独有的相变材料存算一体光计算方案引入玻璃光计算芯片中,利用相变材料的非易失性,能够避免在玻璃中引入额外的相移器,从而实现计算过程几乎不耗能的三维光子神经网络系统。它既解决了三五族平台器件密度不足的问题,又突破了固定场景的应用限制,相变材料的引入,使得芯片在推理过程中保持极高能效比的同时芯片参数仍然可根据不同模型实时调整,适配性更强。尽管与论文中直接在玻璃中实现三维结构有所差异,但是同样在玻璃平台上提供了三维集成的完整方案,通过单层玻璃芯片堆叠的方式最终实现相同的三维输入效果。

量子位 176

5篇AI生成的数学论文被接收!00后创始人洪乐潼融资14个亿

如果一个 AI 系统能把数学证明交给机器逐步检查,那么同样的“生成、形式化、验证”闭环,也可能被拿去处理其他学科,以及高风险决策场景。她的创业合作伙伴Shubho Sengupta也从Meta辞职,两人从AI与数学推理的交叉可能性出发,决心解决AI的幻觉问题。创始人洪乐潼,2001年出生于广州,本科MIT三年拿下数学与物理双学位,还拿过北美数学本科生的最高荣誉罗德奖学金和摩根奖。2019年,17岁的洪乐潼考入MIT,仅用三年时间便完成了数学与物理双学位的学业,本科期间就发表了9篇学术论文。

量子位 224

AI正在重写软件行业?8岁孩子做操作系统,一人公司拿下千万订单丨百度秒哒朱广翔 @AIGC2026

这些都完成之后,我们再选择分发给谁,比如百度搜索、小红书投流,或者去微信发送到私域社群里,或者说去App store上架,分发流量之后有了用户数据再去回流、去分析、去运营,指导下次迭代,形成下个循环,每个色块就是一个真人。在很多企业里,原来提需求的是业务人员,他们自身没有开发能力,将需求提到研发部门,研发部门又不懂业务人员的痛点,需要反复沟通、调整,但现在业务人员自己就可以开发软件了。我非常荣幸能从事这个赛道,因为在这个过程中、在这一年半的时间里,我不仅看到了产品的变化,还更多地看到了整个时代的变化。

量子位 435

清华有了新老师:黄仁勋

既包括科技圈顶流如马斯克、微软CEO纳德拉、Meta扎克伯格等,也不乏金融圈大拿,如摩根大通的杰米·戴蒙、贝莱德的拉里·芬克、花旗的简·弗雷泽。,使命是加强学院与外部各界的联系,提升学院在科研和教学方面的整体水平,帮助学院建设成为世界一流的经济管理学院。后来黄仁勋转学,并且一直学业成绩优异,在高中时连跳两级,16岁毕业,进入。,除了讨论学院的国际化战略和长期发展方向,也会给经管学院的学生做讲座。不过,比起这些头衔,老黄最近最出圈的,可能还是他在夜市的花式插队——可口可乐、西门子、通用汽车、BP、塔塔。

量子位 196

「斯隆奖」得主戴亮全职加盟复旦

曾担任波士顿咨询合伙人,副总裁,中国区首席数据科学家,百度研究院大数据实验室和商业智能实验室的主任,和美国俄勒冈大学计算机和信息科学系正教授(终身教职)。,覆盖面相当宽:从宇宙大尺度结构与演化,到暗物质及其通过引力透镜留下的观测信号,再到天体物理引力波。2024年起到复旦大学物理系工作,现任复旦大学特聘教授、复旦大学天文与天体物理中心主任。获奖者覆盖数学、物理、天文、计算机、经济、生物等领域,成长路线相当恐怖,很多后来成了。继袁峰、季索清之后,复旦的天文版图,再迎一位顶尖天体物理学者。

量子位 170

高分辨率视频生成不再慢半拍:让大模型保留“原味”的同时提速十余倍

为此,SURF训练了一个轻量级Refiner,它从线性上采样后的预览latent出发,学习低分辨率latent到高分辨率latent 的flow mapping,只需少量去噪步骤,就能补足高清纹理。因为这些步骤决定了视频最终“会长成什么样”,等到整体结构、主体关系和运动方向基本稳定后,SURF再将latent 下采样到低分辨率,在保留全局结构的前提下,快速完成预览。原因在于,每个预训练模型都有自己的“舒适区”,通常接近它的训练分辨率,一旦分辨率不匹配,模型原本学到的布局、语义和运动先验,就可能被破坏。

量子位 149

大模型也需要睡觉!让AI打个盹,醒来更聪明

Transformer的核心是注意力机制,但注意力有一个天生的短板就是,上下文越长,算力平方级往上蹿,KV缓存也线性往上涨。,让大模型上下文窗口快满的时候别硬撑了,打个盹把最近的上下文反复咀嚼几遍,压缩进长期权重,清空缓存,醒了再接着干。依靠可学习的局部规则,反复对信息进行提炼整合,逐步更新SSM模块内的快速权重,完成信息的深度压缩与消化。这里的“睡眠时长”,本质上就是信息迭代处理的轮次,轮次越多,代表模型对上下文内容的梳理、打磨次数越充分。

量子位 164

1400亿Agent入场,“流量”这条护城河要塌了

因为人要睡觉,但Agent不会睡觉,所以Agent时代的交易呈现7×24小时不间断、极小额、高频次、多形态的特征,此外,支付金额的最小单位可能低于1分钱,成本大幅下降。如果说担保交易解决了电商早期敢不敢买、敢不敢卖的信任问题,移动支付解决了移动互联网时代能不能随时随地交易的效率问题,那么AI支付面对的,就是Agent时代的新问题。早在今年年初,支付宝联合千问App、淘宝闪购、Rokid、大麦、阿里云百炼等伙伴,正式发布中国首个ACT协议,提供一套智能体跨终端、跨系统的“通用语言”。

量子位 165

7B打败o3、GPT-5!医学AI智能体让模型学会“看哪里、怎么看”

是上海创智学院面向下一代医学AI Agent、视觉推理与多模态大模型的青年交叉研究团队,聚焦Visual Reasoning、Agentic RL、Clinical Tools,推动模型从“生成答案”走向基于证据的观察、验证与行动。Ophiuchus的价值不只是让医学大模型多了几个视觉工具,而是让模型学会在诊断过程中主动“看哪里、怎么看、看完如何修正”。当模型能够在思考中主动回看影像、放大病灶、截取视频、验证证据,医学AI才真正从“会回答问题”走向“会进行临床视觉推理”。

量子位 167

AI越用越聪明,自主+自进化是关键拼图丨盛大邓亚峰EverMind@AIGC2026

另一方面,我们认为,未来的AI Memory的Layer(记忆层),服务的可能不仅是资深的开发者,将来很多人都会构建AI应用。我们在token节省和模型成本方面也取得了显著的效果,原因是利用强化学习的方法训练了很小的模型——我们的4B模型在记忆提取和检索使用上的效果可媲美几百B的模型,并且已有不少学术成果发表。当前,大家看到模型进展非常快,但在记忆方面的工作,今年才逐渐多起来,去年这个时候我们和行业里一些团队开始交流AI Memory,这方面的关注还非常少。的爆火,我简单谈谈我的理解。

量子位 762

让大模型“边看边改”,视觉分割准确率直接上涨9% | ICML 2026

给模型一张图、一句话,让它把目标区域的像素圈出来——听起来直接,但一旦目标含糊、被遮挡,或者需要推理才能定位,一次性猜出正确的掩码就变得相当困难。模型不再一次性输出mask,而是先观察图像、进行推理、调用视觉工具、读取反馈,再根据历史结果迭代修正,最终生成更可靠的准确掩码。而RSAgent总体框架如下,包括多轮交互、工具调用、观察反馈、cold-start SFT与agentic RL。痛点不是单纯追求更复杂的分割头,而是让模型在开放语义任务中具备“先判断、再行动、看反馈、再修正”的能力。

量子位 186

OpenAI挖来了个F1级别车手搞公关

在我职业生涯早期,我曾效力于红牛车队,参加过F1级别的职业比赛。后来无论是Salesforce、ServiceNow,还是现在的OpenAI,他几乎每一次跳槽,踩中的都是技术范式切换最剧烈的时候。毕竟现在的OpenAI,既是全球最炙手可热的AI公司,也是最复杂、最难做品牌管理的公司之一。当年从赛道退下来后,他没有选择一条更稳妥的路,而是直接跨进了一个与赛车几乎毫无关系的行业,从零开始做市场与品牌。Salesforce后来之所以能从一家卖CRM的软件公司,变成云计算时代的行业代表,这是很重要的一步。

量子位 150

5秒完成3D场景编辑,北大&港中文&上海AI Lab搞出VGGT-Edit,120倍加速太炸了

尤其是在添加家具、调整位置、修改材质这些复杂任务中,很多传统方法仍然会出现明显的“贴图感”和几何漂移,但VGGT-Edit生成的结果,会明显更像一个真实稳定的3D空间。而这件事,可能比“会生成3D”本身更重要。对于机器人、AR/VR、空间智能这些方向来说,这几乎是致命问题——这些场景真正需要的,不是“某一个角度看起来对”,而是整个3D世界始终稳定一致。对于原生3D编辑来说,这一步非常关键——模型真正需要学习的,不只是“图像变化”,而是同一个编辑,在不同视角下如何始终保持空间一致。但问题也恰恰出在这里。

量子位 154

触觉具身来了个梦之队:天使轮近亿

背靠产学研与地方政策双重加持,作为复旦大学与静安区战略合作的重要落地成果,公司在初创期便获得静安区科经委与市北高新集团的大力培育,先后获得静安区战略性资金及上海市经信委促进产业高质量发展专项资金的支持,上海市科委也针对其核心视触觉传感器的研发给予了专项经费支持,全面加速公司的技术攻关进程。能够夹起衣物,却无法实时感知布料的滑移状态与张力分布,难以完成精准的褶皱整理。对于后发企业而言,沿着先行者的轨迹亦步亦趋难以实现突破,唯有找到行业尚未解决的核心难题,从新的技术变量切入,才能构建起不可替代的竞争壁垒。

量子位 167

DeepSeek陈德里开发自动研究Skill,写一篇论文人类只动脑2小时

论文共迭代6次(V1:4 次,V2:1 次,V3:1 次),总耗时6天,进行了约108轮Agent调用,消耗64.8万token,写了2234行LaTeX代码。,智能体可自主选题、分配资源、长期积累知识、跨领域持续研究,是当前未实现的理想状态,核心瓶颈为持续知识积累、可靠自我评估、架构规模化。早期智能体框架CAMEL、AutoGen、MetaGPT等为代表,特点是分工协作、多视角纠错,成本较高,沟通易混乱。,人类仅提供研究目标、评估最终成果,智能体可完成多步实验、代码、论文撰写,但无法自主选择研究问题。

量子位 191

双榜SOTA!微软ACL2026新作重新定义AI长记忆

结果它找到了Boston和San Francisco,却完全遗漏了Detroit——因为“attended a conference in Detroit”被埋藏在一条长消息中,与“去过哪些城市”的语义相似度不够高。最终,System-1确保语义直接匹配的记忆不遗漏,System-2确保结构相关但语义距离较远的记忆被覆盖,两者。团队认为,真正的AI记忆应当是有组织的、可推理的、双模式的、并能持续进化的。记忆系统的质量,很大程度上取决于“存储时做了什么”,而不仅仅是“检索时怎么找”。

量子位 182

将DSA注意力引入多模态,快手Keye2.0开启强化推理新范式

情感与主题的深度升华:模型并没有停留在“建雪雕”的表层,它提取了画面中巨大的“振兴东北”刻字,关联了片中“老程盼女儿、小李回流家乡”的人物背景,在总结中直指故事内核:“极寒的温度冻不住东北人的热血,冰雪项目不仅是奇观,更是承载着东北人振兴家乡、呼唤游子归乡的炽热情感与现实路径。当接收到“请找出视频中的高光时刻,并给出你的依据,时间戳用[mm:ss]的形式来表示”的指令时,Keye-VL-2.0- 30B-A3B没有陷入传统AI“哪里有击杀提示就截取哪里”或“只看画面元素剧烈变化”的机械逻辑。

量子位 189

专治世界模型幻觉!ECCV 2026 Workshop征稿,Sergey出席,帝国理工等联合发起

ergey Levine(UC Berkeley)、Jiajun Wu(Stanford)等国际顶级学者做特邀报告,同步举办具身动作世界模型挑战赛,以及主题为From Synthesis to Deployment:Bridging Academic and Industry Focuses on World Models的圆桌讨论,旨在弥合学术界在世界模型合成方面的进展与工业界对部署需求之间的差距。世界模型作为智能体的内部模拟器,在执行前预判风险、规避危险,实现风险感知决策。

量子位 196

卡帕西Anthropic最新头衔:技术员工(MTS)

但尴尬的是,这些案例的争议其实很大,都被吐槽过说没有宣传的那么美好,所谓扁平会变成隐性权力,表面没老板,实际有老员工、核心圈层……头衔都一样,竞争对手就没法通过头衔判断谁是L7谁是L5,推断一个员工具体做什么方向,定向挖人的难度直接上升。一个很直观的事实是,整个商业史上,能在没有层级制度的情况下完成规模化的组织,一只手数得过来。后来离开Ins,自己做了个新闻聚合App,叫Artifact,同样是联创+CTO的标签。这些说不在意职称的,一旦离职,就开始在领英自称上「副总裁」了(hehe)。

量子位 80

把VLM塞进隐式世界模型,港大&小鹏机器人新框架让机器人长出物理直觉

通过将人类的姿态对齐到机器人的动作空间,双系统能够共同从多样的人类动作数据(如EgoDex)中汲取养分:System-2负责从人类视频中提取通用的任务逻辑,而System-1则从人类动作标签中蒸馏通用的运动先验。借鉴认知科学中的双系统理论,不仅让强大的VLM直接在其原生的ViT特征空间中进行轻量化的隐式世界建模(Latent World Modeling),更关键的是,它将这种隐式视觉预见构建为一个可微的结构化瓶颈。System-1则在真实未来特征的指导下,专心学习从感知到精准动作的映射。

量子位 101

留给人类数学家的悬赏不多了!谷歌DeepMind一口气解决9道埃尔德什问题

同时,AlphaProof Nexus还在OEIS整数序列百科里证明了44个开放猜想,在代数几何那边解决了一道希尔伯特函数对数凹性的15年悬案,凸优化那边改进了一个锚定梯度下降法的理论边界。这个结果或许也在预示着,未来随着大模型能力持续升级,复杂的多工具组合系统,可能不再是刚需,只用大模型+专业校验工具这套简单循环,就能搞定大多数数学难题。简单理解就是,这群数字之间,既不能一个数整除另一个数,也不能一个数整除另外两个数的和,同时数字还要分布得相对密集,不能只挑寥寥几个数投机取巧。

量子位 132

龙虾之父教你省钱:开源Skill给你的Skill减肥

严格遵循Codex计费规则(UTF8字节数/4向上取整),以模型上下文2%为默认技能预算基数,结合技能优先级排序规则(系统技能>内置技能>插件技能>仓库自定义技能),核算全量技能原始占用令牌、最小渲染令牌、预算内可用令牌。同时可模拟真实运行场景,计算预算不足时的技能描述截断字符数、被省略技能数量,精准输出预算使用率、剩余预算、上下文占用比例等核心指标,直观展示技能体系的资源负载情况。跨Codex内置库、插件缓存、代码库、个人技能根目录,扫描同名技能、描述/内容高度相似的重复技能,标记冗余项。

量子位 86

刚刚,国产AI自己造了AI,全球首例!

在MMLU-Pro、MMLU-Redux、AIME-2025、AIME-2026、BFCL-v4、AA榜单等项目上,也给出了对应成绩。我们完全可以给不同的模型、不同的硬件、不同的任务,分别写专用的代码。如果人不够,那就用AI来凑!更直白一点说,就是当AI写代码的成本越来越低,未来软件不一定非要做成一套通用大框架,也可以针对不同模型、不同硬件、不同任务,现场锻造一套专用代码。这也让MiniCPM5-1B的价值更明确了,它不只是一个小尺寸模型,而是一个在参数规模、部署成本和实际能力之间重新找平衡点的端侧模型。

量子位 638

画数独、烧蜡烛都不翻车了?浙大&阿里让AI先三思再下笔|ACL 2026

让模型画 “数独解完后的样子”、“蜡烛燃烧6小时后的状态”,开源模型要么出现逻辑幻觉,要么无法把文字指令转化为精准视觉操作,形成难以跨越的执行鸿沟。研究者设计了一个独立的Thinker模块,它不直接生成像素,而是充当大脑,负责将模糊的用户意图分解为分层、结构化、且对下游生成器友好的中间表示。阶段,Thinker产生的多条推理路径直接由生成图像的视觉质量打分反馈,这迫使模型放弃空洞的辞藻,转而学习生成“视觉可执行”的指令。这种双向反馈机制,真正实现了脑与手的深度协同。

量子位 62

0.9B跑出90%真机成功率!上海交大为VLA补上空间感

从多视角RGB提取紧凑的隐式深度表征,再以轻量方式融入视觉-语言通路,最后通过flow-matching动作专家输出连续动作。参数,不额外增加硬件负担,用紧凑的隐式深度编码把空间感写进VLA策略里,仿真与真机同时兼顾性能与部署效率。论文中,IDEM骨干约0.13B参数,并结合多视角深度预训练初始化,在轻量条件下引入与深度相关的归纳偏置。值得注意的是,相比只关注benchmark分数,论文也给出了部署侧开销与实时性指标。从RGB学几何,省了硬件,但不少方案依赖较重的基础模型,训练和推理成本偏高。

量子位 83

Grok最新模型吃上Cursor「加餐」,马斯克:Coding实现巨大改进

Cursor数据其实更可能告诉模型,开发者在真实项目里,是怎么描述需求、定位问题、让AI读上下文、修改文件、修复报错、再继续追问的。更大的模型容量,往往能让它更好地理解复杂上下文、进行更长的链式思考,以及处理更具挑战性的真实开发任务~要知道,毕目前承载Grok所有生产流量都由0.5T的v8-small模型,也只有0.5T的大小。用户输入需求后,Grok Build不会直接动手,而是先制定详细执行计划,让用户确认后再执行。这边,也被马斯克亲口点名,补充训练里加入了大量Cursor数据,后续还会继续添加。

量子位 113

刚刚,国产Agent模型闯入全球第一梯队!限时免费

从训练的第一天起,它的目标就不是聊天,而是干活。就像我在实测中感受到的那样,做完桌宠它问你要不要存成Skill,做完周报它提醒你设成定时任务,昆仑万维瞄准的显然不只是一个模型,而是一整套Agent工作生态。发现没,自从模型进入Agent时代后,大部分玩家在推主力模型时都会附带一个轻量版,这也很好理解,就像前段时间Snapchat前机器学习工程师说的那样:。一只小猫,能在屏幕上随机溜达,点击会说打工人语录,右键能切工作模式和摸鱼模式,工作模式带番茄钟倒计时,还要有喝水提醒、远眺提醒、拉伸提醒这些健康功能。

量子位 537
上一篇: NeurIPS滑跪认错!一切都是误会,已纠正
下一篇: 最强Claude模型提前曝光!附带Anthropic三千份保密档案在线裸奔
QbitAl
QbitAl 企业官方账号 企业官方账号
博客等级 码龄7年 2万+粉丝 2173原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值