这项由新加坡国立大学Show Lab的谢金恒、杨振恒以及字节跳动的周铮领导的研究团队于2025年6月发表的最新研究成果，为我们展示了人工智能领域的一个重要突破。感兴趣的读者可以通过arXiv:2506.15564v1访问完整论文，或在GitHub上查看相关代码和模型：https://github.com/showlab/Show-o。
考虑这样一个场景：你拿出手机，既希望它能像朋友一样理解你拍的照片并与你聊天，又希望它能像画家一样根据你的描述创作出精美的图片和视频。传统上，这需要两个不同的AI系统——一个专门负责"看懂"，另一个专门负责"创作"。然而，研究团队开发的Show-o2系统却像一个多才多艺的艺术家，能够在同一个"大脑"中既理解视觉内容，又能创造新的视觉作品。
这项研究的核心突破在于创造了一种全新的统一多模态模型，它能够同时处理文字、图片和视频，既能理解这些内容，又能生成新的内容。不同于以往需要拼凑多个专门系统的做法，Show-o2就像一个天才艺术家，既能欣赏艺术作品并讲述其中的故事，又能根据别人的描述创作出令人惊叹的新作品。
研究团队面临的最大挑战是如何让一个AI系统同时掌握"理解"和"创作"这两种截然不同的能力。理解需要提取图像中的语义信息，而创作则需要把抽象的想法转化为具体的视觉呈现。这就好比要培养一个人，既要有文学评论家敏锐的鉴赏能力，又要有画家娴熟的创作技巧。研究团队通过创新的双路径融合机制，让AI能够同时获得这两种能力。
**一、突破性的视觉表示统一设计**
Show-o2的核心创新在于其独特的视觉表示方法。研究团队设计了一个叫做"统一视觉表示"的系统，这个系统就像一个万能翻译器，能够将各种视觉信息转换成AI可以同时用于理解和创作的通用语言。
传统的AI系统通常会为不同任务使用不同的视觉处理方式。比如，用于理解图片的系统会使用CLIP这样的工具提取语义特征，而用于生成图片的系统则会使用变分自编码器(VAE)处理底层像素信息。这就像让一个人用不同的眼镜看同一幅画，每副眼镜只能看到特定的信息，无法形成完整的视觉认知。
Show-o2采用了3D因果VAE作为基础框架，这个框架的巧妙之处在于它能够同时处理图片和视频。VAE可以理解为一个智能的图像压缩和解压缩系统，它能将复杂的视觉信息压缩成更紧凑的表示形式，然后再根据需要还原出图像。3D因果VAE的"3D"特性使其能够处理包含时间维度的视频信息，而"因果"特性则确保了生成过程的逻辑性。
在这个基础上，研究团队设计了一个双路径的视觉特征提取机制。第一条路径是语义层，它专门负责提取图像的高层语义信息，就像一个有经验的艺术评论家，能够理解画面中的内容、情感和主题。这些语义层的设计基于SigLIP模型，通过预训练能够识别图像中的各种概念和关系。
第二条路径是投影器，它负责保留图像的底层细节信息，就像一个技艺精湛的工匠，关注每一个线条、色彩和纹理的细节。这条路径确保了AI在创作时能够准确把握视觉细节，生成高质量的图像和视频。
这两条路径提取的信息随后通过一个叫做"空间时间融合"的机制进行整合。这个融合过程就像调色板上不同颜料的混合，语义信息和细节信息被巧妙地组合在一起，形成既包含高层理解又保留细节特征的统一表示。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
