论文阅读笔记——Harmonizing Visual Representations for Unified Multimodal Understanding and Generation

Harmon 论文
现存问题：

• 任务异构性矛盾：视觉理解需要高层语义特征，而生成依赖细粒度图像特征，传统方法（VQ/VAE编码器）难以兼顾；
• 框架割裂现状：现有系统多采用分离架构（如Janus系列），导致跨任务协同效应缺失；
• 语义-生成失衡：生成优先的编码器（如VQGAN）会损害理解性能。
  
  MAR 作为一种基于图像掩码建模的生成范式，沿袭了表征学习 MAE 的 Encoder-Decoder 框架，Harmon 的作者们发现 MAR Encoder 在图像生成训练中，同时学会对视觉语义的建模。如图一所示，MAR 的 Linear Probing 结果远超 VQGAN、VAE，同时对视觉语义概念有更精确的响应。
  
• 统一架构：基于掩码自回归模型（MAR）构建共享编码空间
  • 编码器：MIM预训练的MAR编码器（同时捕获语义与细节），线性探测准确率接近专用语义编码器SigLIP（68.7% vs 69.2%）
  • 解码器：MAR自回归生成模块
  • 语言模型：Qwen2.5指令微调LLM
• 三阶段训练策略：
  • 阶段I：视觉-语言对齐（2200万图文数据），冻结 L