
世界模型成行业关键词
过去几个月,“世界模型”(World Model)从学术黑话迅速膨胀成AI和机器人行业里的关键词。行业目光转向背后是切实的焦虑。
世界模型的背景与意义
一方面,经过过去两年野蛮生长,具身智能暴露了当前AI在物理世界中的短板,世界模型试图补上这个短板,让机器人学会物理世界的规律、因果。世界模型与具身智能的关系,本质上是“大脑”与“身体”的关系。另一方面,大模型在经历多种探索之后,需要从虚拟走向真实世界的下一阶段。只是,当资本、技术专家、产业资源都倾注于此,世界模型到底如何上岸,人们没有答案。
世界模型的四条分岔路
在智源研究院院长王仲远看来,眼下全球围绕世界模型的探索,正被撕扯成四条截然不同的分岔路:第一类是以语言为中心的世界模型,包括VLM、VLA,模型在文本空间中预测下一个词,学到的是语言描述的世界,并不能理解背后的物理后果;第二类是以像素为中心的世界模型,像Sora和Seedance等视频生成类模型,在视觉空间中学习视频或图像,学到的是像素描述的世界;第三类是以三维结构为中心的世界模型,包括3D重建以及李飞飞团队的World Labs Marble模型,不过模型重建3D空间不等于理解世界,几何结构也不代表物理状态;第四类是以视觉表征为中心的世界模型,比如杨立昆的JEPA系列模型,预测的是视觉表征的压缩,但视觉嵌入演化不等于物理规律演化。
智源研究院的探索
作为一家非营利性科研机构,北京智源人工智能研究院是目前国内世界模型领域的中坚力量。智源研究院目前尝试的是第五个分类——以语言和视觉为中心,融合进统一的「潜空间表征」:所有模态被压缩进同一个潜空间(latent space)中,再由不同的“解码器”(Decoder),按需还原成不同输出形态。在迈向世界模型的前几年,智源研究院在AI上的动作,就像是一部层层递进的“连续剧”,一步步构建从数字世界走向物理世界的通用基座。从早年的“悟道”大模型,到逐渐把竞争点引导向原生多模态统一架构,此后,智源研究院明确提出要向“下一状态预测(NSP)”跃迁,并将这套逻辑接入悟·Physis和悟界·RoboBrain Orca的可部署系统中。在这段期间,智谱AI、月之暗面、面壁智能、银河通用等多家行业头部企业的核心创始人唐杰、杨植麟、刘知远、王鹤等,也都均在智源开展过相关领域研究。
王仲远对世界模型的看法
王仲远对世界模型热潮保持着冷静。他认为,世界模型大概处在深度学习的2012年前后。在他看来,世界模型接下来的硬仗,在于几个维度的综合比拼。首先,模型要具备长时序一致性;其次,要进行因果逻辑推断;最后,要作为基座模型应用到多种场景。落到应用侧,世界模型的价值会在两大大方向兑现,除了用于突破具身智能的卡点,服务于机器人领域之外,还可广泛应用于严肃工业、物理仿真、科学研究等真实物理场景。他表示,期待未来世界模型能成为真正的机器人大脑,但这会是一个长期过程,可能需要三年甚至更长时间。
采访实录
近期,王仲远与硬氪等媒体聊了聊对世界模型的看法、以及世界模型与具身智能的衔接点,以下是采访实录(略经摘编):
硬氪:为什么今年智源大会重点谈“世界模型”,它和过去的大模型路线是什么关系?
王仲远:我们不是突然提出世界模型这个概念。早在2024年智源大会上,我们就对人工智能的发展路径做过预判。今年智源大会有两大主题,一个是世界模型,一个是智能体。世界模型是人工智能从数字世界进入物理世界时必须面对的下一代基座模型问题。
硬氪:当前世界模型有哪几条技术路线?
王仲远:现在主流的有四条路:以语言为中心路线(如Gemini3);以像素为中心路线(如Sora);以三维结构为中心路线(如李飞飞World Labs的Marble);以视觉表征为中心路线(如LeCun的V - JEPA系列)。
硬氪:智源的世界模型可以归类于什么路线里?
王仲远:我们更倾向于在潜空间中学习世界知识,尝试把世界知识真正压缩到隐空间中,再通过不同Decoder输出Language、Action和Vision。智源选择尝试以语言为中心的分类和以视觉表征为中心的分类可能的融合,原因是世界模型不仅要“看懂”物理世界,更要“理解”并“决策”。
硬氪:现在很多公司把视频生成模型称为世界模型,你怎么看?
王仲远:我认为,视频生成不等于世界模型。世界模拟器用于描述视频生成还算相对准确,但视频生成模型本身并不等同于世界模型。真正的世界模型应该是面向真实物理世界的下一代基座模型。语言模型时代的核心是Next Token Prediction,而世界模型时代的核心应该是Next Physical State Prediction。语言模型可以用Prompt激发能力,世界模型则需要用State激发能力。语言模型更多是被动观察,世界模型必须主动交互。语言模型可以是单模态或多模态,世界模型必须走向全模态。
硬氪:一个真正面向物理世界的世界基座模型,需要具备什么能力?
王仲远:我认为至少需要几个能力。第一,要物理正确;第二,要有动作因果可溯;第三,要有长时间序列一致性;第四,要有通用泛化能力。
世界模型与具身智能的关系
硬氪:当前具身智能最大的问题是什么?
王仲远:我认为具身智能还处在非常早期。现在的具身模型多数还是单场景、被动任务执行者,很难泛化。世界模型和具身智能是相互呼应的,具身智能暴露了当前模型在物理世界中的短板,世界模型则试图补上这个短板。
硬氪:现在也有一些论调称,“VLA已死”,世界模型是不是具身智能的必要路线,两者的关系是什么?
王仲远:我的判断是:VLA是当下,世界模型是未来。VLA有局限,世界模型要解决的是更底层的问题。
硬氪:世界模型对机器人执行任务的帮助,能否举一个具体的例子?
王仲远:世界模型更重要的能力是基于当前Context和状态,预测未来可能发生的状态,并据此做出当下最优决策。比如机器人在酒店或家庭环境中,需要结合历史记忆和当前Context做出复杂推理后的物理决策。执行之后,还要继续采集反馈,评估任务是否完成,并进入下一轮状态预测和决策。
硬氪:世界模型最终是否会成为真正的机器人大脑?
王仲远:这是我们的期待。这件事不会短期完成,世界模型是一个长期过程,短期内,具身机器人会先在具体场景中落地,采集数据,形成闭环;长期看,世界模型有机会成为真正意义上的机器人大脑。
世界模型的技术难点与落地问题
硬氪:世界模型现在最难突破的技术难点是什么?
王仲远:一个核心难点是数据,尤其是真实物理世界的数据。现在真实世界数据仍然非常缺乏,而且是散落的孤岛,没有形成足够充足、可复用、可训练的数据体系。视频数据是目前最容易Scale Up的数据,但科研技术还没有充分挖掘视频数据里的物理信息。除了视频,还需要真实交互数据、异构感知数据等。
硬氪:如果真实物理世界数据不足,是否可以依靠仿真数据?
王仲远:仿真数据有必要,能弥补真实数据采集不足,但我对完全依赖仿真数据构建更强模型是有疑虑的。未来可能会把多种数据放在一起训练世界基座模型,但不同数据如何配比,现在还没有标准答案。
硬氪:如果世界模型还很早期,具身智能短期如何落地?
王仲远:短期内,具身智能会先解决具体场景问题,如工厂分拣、酒店服务等To B场景。这些场景能采集数据,反过来会帮助未来世界基座模型训练。所以技术要先行,产品和系统会跟上。
世界模型的发展阶段与竞争
硬氪:世界模型最可能率先落地在哪些场景?
王仲远:具身智能是最重要的应用场景之一,除此之外,世界模型也可用于物理仿真、科学实验、AI for Science等场景。
硬氪:如果类比大语言模型的发展阶段,世界模型现在处于什么阶段?
王仲远:我认为世界模型和具身智能大概处在2012年的时期。现在世界模型还没有到GPT时代,但随着视频数据进一步被挖掘,具身机器人不断在真实场景落地,世界模型会更快进入爆发阶段。
硬氪:大语言模型时代,中美通常被认为有六到十二个月差距。世界模型时代,中国和海外是否还有差距?
王仲远:我觉得世界模型没有差距,大家站在同一起跑线。
硬氪:未来世界模型的竞争会集中在哪些方面?
王仲远:未来真正关键的竞争点包括:能否具备真实物理可验证能力;能否具备长时序一致性;能否进行因果逻辑推断;能否作为基座模型应用到多种场景。世界模型最后一定需要通过系统和产品来证明。
硬氪:过去大模型积累的基础设施能否复用?世界模型对算力等等,有什么新的要求吗?
王仲远:我认为,现有的大模型算力基础设施、训练框架、数据工具链都可以在很大程度上复用。世界模型会带来新的需求,但基础设施并不是完全从零开始。世界模型到底能否突破重重挑战,成为真正的机器人大脑呢?这值得我们持续关注和思考。
1372



被折叠的 条评论
为什么被折叠?



