2023年10月30日，北京智源人工智能研究院（简称"智源研究院"）正式对外发布了新一代多模态世界大模型——"悟界EMU3.5"。在当前大语言模型（LLM）的文本处理能力逐渐逼近技术天花板、全球AI行业迫切寻求突破方向的关键节点，多模态技术被公认为人工智能发展的下一个战略高地。然而，如何实现文本、图像、视频等异构模态数据的深度融合与高效协同，始终是困扰业界的核心难题。长期以来，多模态领域存在两条泾渭分明的技术路线：一条是以DiT（Diffusion Transformer）架构为代表的生成式模型，在文生图、文生视频等创作任务中表现突出；另一条则是以智源Emu系列为典范的"原生多模态"技术路径，致力于构建从底层实现统一模态处理的通用人工智能系统。智源研究院院长王仲远在发布会上明确指出，EMU3.5的诞生标志着人工智能正式从"语言学习"阶段迈入"多模态世界学习"的全新纪元，并开创性地提出了多模态规模化发展的新范式。从一年前验证技术可行性的Emu3原型，到如今宣称"开启新纪元"的EMU3.5正式版，智源团队究竟攻克了哪些技术壁垒？这背后又蕴含着怎样的战略思考与技术哲学？
【免费下载链接】Emu3.5-Image 
项目地址: https://ai.gitcode.com/BAAI/Emu3.5-Image
一、突破效率瓶颈：从理论统一到工程落地
多模态人工智能的首要挑战，在于如何构建一个真正意义上的"大一统"模型架构。当前行业主流的解决方案，是将不同功能的专项模型（例如负责理解任务的编码器与负责生成任务的解码器）通过接口拼接组合。这种"拼凑式"方案不可避免地带来模态融合难题，不同模型架构间存在难以逾越的"语义鸿沟"。智源团队从Emu3研发阶段就确立了更为彻底也更具挑战性的技术路线——"原生多模态"架构：采用统一的自回归（Autoregressive）模型框架。自回归架构作为现代大语言模型的技术基石，其核心范式是"Next-Token Prediction"（下一词元预测）。智源团队将这一范式创新性地拓展至多模态领域，无论是文本、图像还是视频数据，都被统一转化为离散的词元序列，由模型进行端到端的预测生成。这种设计在理论层面实现了极致的简洁与优雅，达成了"图像、文本、视频的深度大一统"。
但这一技术选择在过去一年中始终面临着致命的效率困境：当模型执行图像生成任务时，需要逐词元进行序列化预测，整个过程如同"像素级打印"般缓慢，相较于Diffusion模型的并行生成机制，效率差距可达数个数量级。一个无法实现高效推理的模型，其理论上的"统一性"优势在实际应用中难以落地。因此，推理效率问题成为EMU3.5必须跨越的第一道技术天堑。
为解决这一难题，EMU3.5研发团队创新性地提出了"DiDA（离散扩散自适应）"混合推理技术。该技术允许自回归模型在推理阶段实现大规模词元的并行预测与生成，从根本上改变了传统自回归模型"逐点绘制"的低效模式。实测数据显示：在保持生成质量不下降的前提下，单张图像的推理速度提升近20倍。王仲远在发布会上强调，这项突破使EMU3.5的自回归架构"首次实现了与顶尖闭源扩散模型相媲美的生成效率"。这一工程化突破不仅补齐了原生多模态路线的核心短板，更以实践证明了该技术路线不仅在理论层面可行，更具备了产业化落地的工程价值。
如上图所示，发布会现场重点展示了智源"原生多模态"技术路线的演进历程。这一路线图清晰呈现了从Emu3到EMU3.5的技术突破轨迹，为人工智能从业者理解多模态发展方向提供了直观参考。
二、开创Scaling新范式：多模态模型的规模化发展路径
在人工智能领域，"Scaling Law"（规模定律）被公认为过去五年最重要的技术发现之一。该定律指出，在特定技术框架下，模型性能会随着参数规模、训练数据量和计算资源投入的增加而呈现可预测的提升。现代大语言模型的成功，正是建立在这一"力大砖飞"的技术信仰之上。然而在多模态领域，由于技术路线的碎片化与标准化缺失，行业始终未能确立清晰有效的规模化发展路径。
EMU3.5通过DiDA技术突破效率瓶颈后，智源团队迅速启动了多模态规模化验证。从Emu3到EMU3.5的技术演进呈现出显著的规模化特征：模型参数规模从80亿（8B）跃升至340亿（34B），增幅超过4倍；视频数据训练时长从15年（按单通道播放计算）激增至790年，扩张幅度超过50倍；模型综合性能随之实现全方位提升。基于这些实践成果，王仲远在发布会上首次提出"第三种Scaling范式"的概念，将其定义为继"语言预训练"和"后训练及推理优化"之后的新型规模化路径。
这一范式创新的核心优势体现在三个维度：首先是架构的内在统一性，EMU3.5的自回归架构能够原生支持各类模态数据的统一处理，为规模化扩展奠定了理论基础；其次是基础设施的复用能力，该架构可直接兼容现有大语言模型的训练基础设施，显著降低了多模态模型的规模化门槛；最后是强化学习的深度融合，EMU3.5首次在多模态领域实现了大规模强化学习（RL）的应用，大幅提升了模型的任务适应性。
王仲远在现场特别强调，当前340亿的参数规模与大语言模型动辄万亿的参数体量相比仍有巨大差距；而790年的视频数据量"仅占全球互联网公开视频数据总量的1%不到"。这意味着无论是模型参数规模还是训练数据维度，EMU3.5都存在巨大的提升空间。按照规模定律的发展逻辑，只要持续增加资源投入，模型能力的增长天花板远未到来。
该对比图表直观呈现了EMU3.5的技术进化轨迹，清晰展示了模型从"预测词元"到"预测状态"的范式转变。这些量化数据不仅验证了技术路线的可行性，更为行业提供了多模态规模化发展的参考蓝图。
三、重构学习目标：从"预测词元"到"理解世界"
如果说效率优化与规模化扩展回答了多模态模型"如何发展"的问题，那么EMU3.5在学习目标上的战略转变，则深刻诠释了多模态AI"应该学习什么"这一根本命题。智源研发团队在发布会上反复强调"第一性原理"（First Principles）的指导思想。王仲远院长引用了一个生动案例：一个两岁女童通过观看短视频中制作糖葫芦的过程，在现实世界中经过多次尝试与调整，最终独立掌握了串糖葫芦的技能。这个案例揭示了人类认知发展的本质规律——学习过程并非始于文本，而是源于对物理世界的直接观察与交互体验。这正是EMU3.5致力于模拟的核心学习范式：人工智能不应局限于语言符号的学习，更需要建立对物理世界的直观理解。
为此，EMU3.5实现了从Emu3的"Next-Token Prediction"（下一词元预测）到"Next-State Prediction (NSP)"（下一状态预测）的范式升级。这一转变意味着模型的核心目标不再是机械地"续写"数据序列（如预测下一个像素或文字），而是理解事物背后的因果关系与物理规律，预测世界状态的逻辑演进。基于这一理念，智源团队对"世界模型"概念提出了全新诠释。王仲远在采访中明确表示，不认同将"世界模型"简单等同于"视频生成工具"的观点。他认为，世界模型的核心能力在于"对物理世界因果关系、时空结构和运动规律的建模能力"。
为阐释这一概念，王仲远举了"桌边咖啡杯"的典型案例：一个普通视频生成模型可能仅能逼真渲染"杯子掉落、咖啡洒出"的动态过程；而真正的世界模型首先应该识别"杯子放置位置危险"的状态特征，并预测"杯子可能坠落"的未来趋势。更进一步，当接收到"拿起咖啡杯"的指令时，模型能够基于对物理常识（如纸杯的承重特性、重心分布规律）的理解，规划出合理的行动步骤。
EMU3.5展现出的多项突破性能力印证了这一认知进化：在意图规划任务中，当用户输入"如何制作芹菜饺子"时，模型输出的并非零散的图片集合，而是一套包含文字说明与步骤图解的完整"行动指南"；在动态推理测试中，模型能够根据给定图案的排列规律，准确预测并填充缺失部分的颜色，这要求模型首先理解图案的逻辑结构（状态），才能生成正确的视觉输出（下一个状态）；在空间理解任务中，模型可根据建筑正面图像，精确生成对应的俯视图，体现了对三维空间关系的深刻把握。
这种"预测下一个状态"的核心能力，直指人工智能的终极应用场景之一——具身智能（Embodied AI）。当前具身智能领域面临的最大瓶颈是真实世界训练数据的匮乏，而EMU3.5这样的世界模型能够通过对物理规律的建模与模拟，为机器人系统生成海量、高质量、多样化的"虚拟训练数据"。在发布会展示的"叠衣服"案例中，EMU3.5能够自主规划并生成机器人完成复杂折叠动作的完整序列。智源研究院王鑫龙博士在技术交流中透露，借助EMU3.5的世界模型能力，机器人在"从未见过的全新场景"中执行任务的成功率可实现从0%到70%的跨越式提升。这些进展表明，EMU3.5正逐步承担起具身智能"大脑"的核心功能，为机器人系统提供理解环境、规划行动和泛化学习的智能基座。
结语：多模态新纪元的中国方案
EMU3.5的发布标志着智源研究院在多模态人工智能领域的战略突破：通过DiDA技术解决了原生多模态自回归架构的效率瓶颈，为规模化发展奠定了工程基础；基于统一架构实现了多模态数据的高效协同，开创了"第三种Scaling范式"；通过从"预测词元"到"预测状态"的认知升级，使AI系统向理解物理世界迈出了关键一步。这一系列技术创新不仅推动了多模态模型的实用化进程，更为通用人工智能的发展指明了新方向。
据智源研究院透露，EMU3.5的技术细节已在最新发布的技术报告中全面公开，并计划在未来推进模型的开源进程。在全球多模态竞争日趋激烈的技术赛道上，EMU3.5的诞生不仅代表着中国AI企业的技术突破，更提供了一种全新的多模态发展范式。随着模型参数规模的持续扩大与训练数据的不断积累，我们有理由期待，EMU3.5将引领人工智能从"语言理解"加速迈向"世界认知"的全新阶段，为构建能够理解、推理并作用于物理世界的通用人工智能系统奠定坚实基础。
【免费下载链接】Emu3.5-Image 项目地址: https://ai.gitcode.com/BAAI/Emu3.5-Image
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
