2025年10月30日，北京智源人工智能研究院（BAAI）在北京举办"悟界·Emu系列技术交流会"，正式发布Emu3.5多模态世界大模型。这款参数量达34B、训练数据含790年视频时长的模型，不仅通过自研DiDA技术将推理速度提升20倍，更以"Next-State Prediction"范式验证了多模态模型的世界建模能力，标志着人工智能从"语言学习"向"多模态世界学习"演进的新纪元。
【免费下载链接】Emu3.5 
项目地址: https://ai.gitcode.com/BAAI/Emu3.5
行业现状：多模态大模型迎来爆发增长期
当前，大语言模型的文本能力逐渐触顶，行业正普遍寻求新的突破口，多模态被视为人工智能的下一个重要方向。2024年中国多模态大模型市场规模已达138.5亿元，同比增长67.3%，2025年预计攀升至236.8亿元；全球市场规模预计突破4200亿元，中国市场占比达35%，成为全球第二大单体市场。
然而，多模态领域长期存在两种不同的技术路径：一种是DiT（Diffusion Transformer）架构，在文生图、文生视频等生成任务上表现出色；另一种则是以智源Emu系列为代表的"原生多模态"架构，尝试从一开始就用统一的模型处理一切。当前主流方案中约60%的模型采用"组合式架构"——通过独立模块处理不同模态，再通过跨模态注意力机制交互，但这种方式存在模态间信息传递损耗导致性能折损的问题。
如上图所示，智源研究院举办"悟界·Emu系列技术交流会"，台上人员围绕Emu3.5多模态世界大模型进行介绍，台下听众专注聆听并参与交流，现场呈现技术发布与研讨的专业场景。这一发布事件不仅是智源研究院的重要里程碑，更是中国多模态大模型技术走向世界前沿的标志性事件。
核心亮点：五大技术突破重新定义多模态智能
1. 原生统一架构：从模块拼接走向端到端融合
Emu3.5采用单一Transformer，用自回归架构实现"多模态理解与生成"原生统一，避免了模态间交流难题。不同于行业普遍采用的短视频剪辑或静态图文对，该模型的训练数据以累计时长790年的互联网长视频为核心，涵盖纪录片、教学视频、游戏动画等多元内容，这些数据天然蕴含着时空连续性、因果逻辑和场景一致性。
与Emu3相比，Emu3.5实现了核心技术跃迁：在"Next-Token Prediction"范式基础上，创新采用自回归架构达成"Next-State Prediction（NSP）"，获得可泛化的世界建模能力。模型依托超10万亿token的大规模多模态数据训练，视频数据训练时长从15年跃升至790年，参数量从8B提升至34B，成功揭示原生多模态Scaling的核心逻辑。
2. 离散扩散适配技术：推理速度提升20倍的黑科技
自回归模型长期受困于"逐Token生成"的效率瓶颈，尤其在处理高清图像生成时速度远逊于扩散模型。Emu3.5创新提出"离散扩散自适应（DiDA）"技术，通过轻量级适应阶段将自回归模型转换为并行生成模式，在不降低性能的前提下，将单图推理速度提升近20倍，首次让自回归模型生成效率媲美顶尖闭源扩散模型。
在保持340亿参数规模的同时，Emu3.5可在单张H100显卡上实现每秒15帧的视频生成，为实时交互应用奠定了基础。技术报告显示，该加速技术在复杂场景生成任务中仍能保持95%以上的质量指标，解决了长期困扰多模态模型的"质量-效率"两难问题。
3. 世界建模能力：从数字生成到物理交互的跨越
Emu3.5展现出的世界理解能力正在重新定义多模态智能的边界。与单纯追求视觉逼真度的生成模型不同，Emu3.5构建了基于因果关系的世界认知框架，能够理解和模拟现实世界中物体的运动和相互作用。
在"整理桌面"任务演示中，模型能理解"清空物品-解开线缆-分类捆扎-隐藏理线-复位摆放"的完整逻辑链条，通过多步骤操作实现符合物理规则的场景演变。这种长时序任务规划能力，使其具备了类似智能体的自主决策潜力。测试显示，Emu3.5在因果关系推理任务上准确率达到87%，远超现有多模态模型的72%平均水平。
如上图所示，该对比柱状图清晰展示了从Emu3到Emu3.5的核心技术跃迁：视频数据训练时长从15年跃升至790年，参数量从8B提升至34B，推理速度提升20倍。这一系列数据充分体现了Emu3.5在多模态Scaling（规模化）方面的显著进步，验证了多模态领域同样存在明确的Scaling Law。
4. 多模态强化学习：构建多维度评估体系
Emu3.5采用"大规模预训练+多模态强化学习"的双阶段训练策略，构建了多模态领域首个可稳定Scaling的技术路线。在第一阶段，模型在10万亿Token上完成基础能力训练；第二阶段则构建了包含美学评估、图文一致性、OCR准确率等23项指标的复合奖励系统，通过GRPO算法实现跨模态任务的统一优化。
这种方法使Emu3.5在保持生成质量的同时，显著提升了对复杂指令的遵循能力。在人工评估中，Emu3.5在整体质量、创意性、准确性等多个维度上都获得了很高的评分，尤其在"是否符合用户意图"这一关键指标上得分突出。
5. 强大的生成与理解能力：从文本到图像的全方位突破
Emu3.5在多个能力维度实现突破：在图像生成方面，能够生成清晰、准确的文字内容，无论是海报上的标语、书籍封面上的标题，还是广告牌上的广告词，都能处理得恰到好处；在视觉叙事任务中，能生成包含12幅连贯图像的儿童绘本，主角形象一致性达到92%；在空间推理测试中，给定建筑正面图，可准确生成符合透视原理的俯视图。
基准测试显示，该模型性能已超越多款知名闭源模型，在图像生成/编辑任务上匹配Gemini 2.5 Flash Image (Nano Banana)，并在交错生成任务上表现更优。在优快云对5款主流模型的评测中，采用组合式架构的Llama 3在"图文+语音"跨模态任务中，逻辑断裂率高达28%，远高于采用原生统一架构的Emu3.5（9%）。
行业影响：从具身智能到内容创作的全方位变革
赋能具身智能：为机器人装上"思想实验"大脑
具身智能行业目前面临数据匮乏的瓶颈，真机采集成本高昂且场景单一。Emu3.5这样的世界模型，可以通过对物理世界的理解和模拟，为机器人生成海量、高质量、且多样化的"仿真训练数据"。
只需一句"叠衣服"的简单指令，Emu3.5便能自主规划、拆解任务，并精确生成机器人完成一整套复杂的折叠动作。研究团队测试显示，利用Emu3.5的世界模型能力，机器人在"没见过的场景"中执行任务，成功率可以"直接（从0%）到70%"。
如上图所示，图片展示了一个高科技场景，中央是操作多模态大模型（标注"MULTIMODAL LARGE MODELS"）的机器人，周围配有数据可视化屏幕，左下角标注"AI生成"。这一场景生动呈现了多模态大模型作为连接数字世界与物理世界关键桥梁的角色，既为具身智能突破数据瓶颈提供新路径，也在各行业催生颠覆性应用。
革新内容创作：从草图到成品的全流程自动化
在设计行业，Emu3.5可以加速设计流程。设计师可以快速将创意草图转换为精美的设计稿，可以生成不同风格的方案供客户选择，还可以根据客户的修改意见快速调整设计。在视觉创作领域，Emu3.5实现了从草图到成品的全流程生成，以手办制作为例，可依据原始线稿，逐步生成3D建模图、3D打印切片文件和上色效果图，全程保持角色特征一致性。
内容创作领域的另一大突破是"第一视角持续漫游"功能，用户在虚拟空间中的移动、转向等操作能触发连贯的场景生成。无论是探索3D游戏地图、参观光照变化的客厅环境，还是模拟火星表面驾驶卡丁车，均能保持空间坐标一致性和物理规律合理性，解决了传统AI视频生成中"转身即失忆"的空间断裂问题。
提升办公效率：语义级文档处理实现自动化
Emu3.5展现出令人惊叹的精细操作能力，例如仅通过文字指令即可精准消除文档中的手写痕迹，实现像素级内容修复。左侧文档中红色手写批注在右侧输出结果中被完全清除，同时保留了原始印刷文字的排版和清晰度。这一技术突破展现了Emu3.5对视觉内容的语义级理解能力，为办公自动化、文档数字化等场景提供了高效解决方案。
在教育领域，Emu3.5能自动生成分步骤的烹饪指南、绘画教程和种植手册，将专业知识转化为直观视觉内容。医疗场景中，多模态大模型与CT等医学影像技术融合，可实现疾病早期发现与精准治疗，帮助医生快速识别X光片、CT等病历，大幅提升工作效率。
未来展望：开源生态推动多模态技术普及应用
智源研究院已公开Emu3.5的完整技术报告和推理代码，并开放了模型权重与推理代码（仓库地址：https://gitcode.com/BAAI/Emu3.5）。这种开放姿态为学术界和产业界提供了宝贵的研究素材，有望推动多模态技术在智能交互、内容创作、具身机器人等领域的创新应用。
随着全球开发者的持续优化，Emu3.5有望在自动驾驶场景预测、机器人操作规划、元宇宙内容生成等领域催生颠覆性应用。业内专家预测，Emu3.5的出现标志着AI从"感知智能"向"认知智能"跨越的关键一步，将加速通用人工智能的实现进程。
未来，随着模型对复杂物理系统（如流体动力学、材料特性）的理解深化，AI有望真正具备"想象力"与"规划力"，在科学发现、工程创新等领域发挥核心创造力。Emu3.5不是终点，而是新起点——一个AI从数字世界走向物理世界的起点。
【立即体验】通过以下命令即可快速开始使用Emu3.5：
git clone https://gitcode.com/BAAI/Emu3.5
cd Emu3.5
pip install -r requirements.txt
pip install flash_attn==2.8.3 --no-build-isolation
python inference.py --cfg configs/config.py
欢迎点赞、收藏、关注，获取更多关于Emu3.5的技术解析和应用案例！
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
