论文阅读笔记——Harmonizing Visual Representations for Unified Multimodal Understanding and Generation

Harmon 论文
现存问题：

• 任务异构性矛盾：视觉理解需要高层语义特征，而生成依赖细粒度图像特征，传统方法（VQ/VAE编码器）难以兼顾；
• 框架割裂现状：现有系统多采用分离架构（如Janus系列），导致跨任务协同效应缺失；
• 语义-生成失衡：生成优先的编码器（如VQGAN）会损害理解性能。
  
  MAR 作为一种基于图像掩码建模的生成范式，沿袭了表征学习 MAE 的 Encoder-Decoder 框架，Harmon 的作者们发现 MAR Encoder 在图像生成训练中，同时学会对视觉语义的建模。如图一所示，MAR 的 Linear Probing 结果远超 VQGAN、VAE，同时对视觉语义概念有更精确的响应。
  
• 统一架构：基于掩码自回归模型（MAR）构建共享编码空间
  • 编码器：MIM预训练的MAR编码器（同时捕获语义与细节），线性探测准确率接近专用语义编码器SigLIP（68.7% vs 69.2%）
  • 解码器：MAR自回归生成模块
  • 语言模型：Qwen2.5指令微调LLM
• 三阶段训练策略：
  • 阶段I：视觉-语言对齐（2200万图文数据），冻结 LLM
  • 阶段II：全模态协同训练（5000万生成+2500万理解数据），引入CFG增强生成可控性
  • 阶段III：高质量微调（美学筛选+分辨率提升至512px）

实验结果

Harmon 在多模态理解基准上，取得接近 Janus-Pro 的效果

在文生图基准上，Harmon 优势显著。在图像生成美学基准如 MJHQ-30K 上，Harmon 大幅领先同类的统一模型，并接近或超过文生图专家模型如 SDXL。

同时，Harmon 能在文生图中更好地利用多模态大模型的世界知识，在 WISE benchmark 上远超 Janus 等统一模型。