统一架构新思考，北大团队UniWorld-V1统一大模型

关注

原创最新推荐文章于 2026-11-14 20:36:10 发布 792 阅读 AI 写同款· GEO 优化 ›

System Verilog学习笔记（十九）——覆盖率覆盖率是用来衡量验证精度和完备性的数据指标。也可以告诉我们在仿真时设计的哪些结构被触发，哪些没被触发。高质量的验证需要满足以下三个条件。阅读详情

本篇分享论文UniWorld-V1: High-Resolution Semantic Encoders for Unified Visual Understanding and Generation，北大团队提出 UniWorld-V1 —— 一个整合高分辨率对比语义编码器与多模态大模型的统一生成框架，仅用 2.7M 样本即可同时支持图像理解、生成、编辑与感知等多种任务。

论文地址：https://arxiv.org/abs/2506.03147
GitHub 地址：https://github.com/PKU-YuanGroup/UniWorld-V1

图1 UniWorld在多个基准上达到先进的性能

通过对 GPT-4o-Image 的实验观察，发现其在视觉特征提取上更依赖语义编码器而非传统的 VAE，这一洞察为统一模型的架构设计提供了新思路。
基于上述发现，提出了 UniWorld-V1 —— 一个整合高分辨率对比语义编码器与多模态大模型的统一生成框架，仅用 2.7M 样本即可同时支持图像理解、生成、编辑与感知等多种任务。
在多个基准上，UniWorld-V1 性能与 BAGEL（2665M 样本）和专业的图像编辑模型 Step1X-Edit相当，并且开源了全部代码、模型权重与数据集，促进后续研究与复现。

观察

在“编辑实验”中，让 GPT-4o-Image 将公交车背面的广告涂成蓝色，观察到编辑前后黄色和绿色标签文字的位置发生明显不一致，说明低频结构没有被严格保留，VAE 特征（强调低频信息）无法解释这一现象；

在“去噪实验”中，将一张狗的图像分别加噪至 0.4× 和 0.6×，GPT-4o-Image 对低噪图像能够正确去噪，但在高噪（0.6×）下将狗误判为鹿。进一步调用 GPT-4o 和 Qwen2.5-VL 理解模块发现，它们对高噪图像也一致地识别为鹿，表明 GPT-4o-Image 依赖强大的多模态理解先验而非 VAE 的低频信息。

综上，这些观察支持了 GPT-4o-Image 使用基于语义编码器的视觉特征提取方案。

架构

基于实验发现，我们将原先基于 VAE 的低级控制信号替换为对比式视觉-语言模型 SigLIP 编码器（选用最高分辨率版本 SigLIP2-so400m/14，固定输出 512×512）。

在视觉理解部分，我们沿用了先前工作中使用的 Qwen2.5-VL-7B 预训练模型。对于参考图像，同时使用 Qwen2.5-VL-7B 和 SigLIP 进行处理，并将两者的输出拼接后，作为 FLUX 文本分支的输入，从而实现更优的特征融合与建模。

基于实验发现，我们将原先基于 VAE 的低级控制信号替换为对比式视觉-语言模型 SigLIP 编码器（选用最高分辨率版本 SigLIP2-so400m/14，固定输出 512×512）。

实验

在 GenEval 测试中，UniWorld-V1 取得总体 0.79 分；使用与 BLIP3-o 相同的提示重写后得分提升至 0.84，已非常接近 BAGEL 的 0.88。在 WISE 基准上，UniWorld-V1 综合得分 0.55，尤其在“空间”类题材中获得 0.73 分，仅次于 GPT-4o-Image 的 0.89，位列其他统一模型之首，展现了其在整合世界知识生成图像方面的竞争力。

在 ImgEdit-Bench 对比中，UniWorld-V1 以总分 3.37 位居所有开源模型之首，显著领先于 Step1X-Edit 和 BAGEL（均为 3.17）。它在 Adjust（3.70）、Remove（3.54）、Extract（2.23）、Replace（3.49）和 Hybrid（3.13）五大关键指标上均获开源模型最高分，展现了在属性调整、元素移除、对象提取、混合编辑与内容替换等任务中的卓越能力。虽然 GPT-4o-Image 以 4.31 继续领跑，但 UniWorld-V1 的表现最接近该行业标杆，标志着其在开源阵营中已实现媲美顶级模型的图像编辑水平。

我们通过示例与 GPT-4o-Image 进行了定性对比（见图6）。结果显示，UniWorld-V1 在各类感知任务上表现不俗，甚至在许多方面超越了 GPT-4o-Image。尤其在 Canny 边缘检测、法线图生成、HED、分割和草图生成等任务中，UniWorld-V1 的指令理解与执行能力更强。这表明其一体化架构能够提供广泛且准确的图像感知功能，是首个具备如此多样且高保真视觉分析能力的开源统一模型。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述